聂家山村始居住的是聂氏，清朝中叶迁于此。清咸丰三年（1853年）至同治七年（1868年）间，由于太平军侵入太平县，导致太平县徽文化遭受毁灭性的破坏，不仅如此，他们还把聂家山等地村民赶往谭家桥的“隋唐古道”（箬岭古道），为他们驱使和服务，传说古道上有一个万人坑，就是埋葬这些人的地方。所以现在村子已没有了聂姓，只有杨、胡、李、谢等姓。聂家山村有40多户人家，170多人口，村中百年香榧果实饱满，香气四溢。高山的茶叶经过云雾的陶冶，圆润可口，是黄山毛峰的主要产地之一。

1941年皖南事变后，新四军皖南支队队长刘奎在此组建黄山游击队 。现存游击队的棚屋屋基遗迹，及农舍外墙上《打不死的刘奎》革命题材壁画。2023年当地建成黄山游击队陈列馆，展示包括缴获的日军望远镜等革命文物。

1968-1978年间，上海知青在此建立茶林场开展生产活动，著名媒体人曹景行等曾在此插队。现存知青居住过的土坯房和劳动工具，成为特殊历史时期的实物见证 。

因该处有山，原为聂家所有，故名聂家山。

1949年属中和、墩上两村；1953年属中墩村；1965年12月，属中墩大队；1983年体制改革，属中墩村至今。