上海是聂耳生前最主要的活动地之一，聂耳故居位于虹口北外滩公平路，在公平路185弄口的水泥墙上，刻有“聂耳旧居”四字。

    旧居为砖木结构二层楼房，是典型的上海石库门建筑，坐北朝南。当年聂耳就在二楼这间房间里创作，还经常走外面的楼梯到晒台上拉小提琴。聂耳曾在这里租住9个多月，然而时过境迁，如今房间内已没有任何与聂耳有关的物品。

    在上海已被认定的聂耳故居共有四处，除公平路一外，还有常德路一处，淮海中路两处。公平路住所是聂耳1930年7月来沪后最早的居住地；常德路寓所为聂耳在1931年任上海民乐歌舞团小提琴手期间的住处。其中淮海中路1258号3楼很可能是聂耳创作《义勇军进行曲》的地方，淮海中路1500号的聂耳居已经被拆除。