Der Bau der ersten Synagoge wird im Jahr 1792 erwähnt. 1841 wurde festgestellt, dass das Gebäude baufällig und nicht mehr zu reparieren war. Die jüdischen Familien sammelten daraufhin für einen Neubau. 1854 konnte dieser als jüdisches Gemeindezentrum mit Synagoge, Schule und Lehrerwohnung verwirklicht werden. Nach dem Rückgang der jüdischen Bevölkerung wurde das Gebäude 1937 an die Spar- und Darlehenskasse Höringhausen (später Raiffeisenbank Freienhagen-Höringhausen, heute Waldecker Bank) veräußert. Durch diesen Verkauf entging es der Zerstörung beim Novemberpogrom 1938. Heute erinnert eine Gedenktafel an dem inzwischen mehrfach stark veränderten Gebäude an die ehemalige Synagoge.