Jüdische Familien waren in Rimpar bereits seit 1577 ansässig, als Konrad von Grumbach sie unter seinen Schutz stellte. 1792 wurde von der jüdischen Gemeinde in der "Storchstraße 4" eine Synagoge errichtet, die 1852 um einen oktogonalen Treppenturm als Zugang zur Frauenempore erweitert wurde. Bis zu den Pogromen im November 1938, bei denen das Gotteshaus von SA-Männern verwüstet wurde, konnte es über einen Zugang von der "Marktstraße" her erreicht werden. In der Folgezeit wurde die Synagoge als Lagerhalle und später als Hühnerstall genutzt. Wegen der in den letzten Jahrzehnten errichteten Bebauung rings um die Synagoge kann diese derzeit nicht mehr auf öffentlich zugänglichen Wegen erreicht werden. 1994 wurde sie unter Denkmalschutz gestellt. Bemühungen in den 2000er Jahren, die Synagoge zu restaurieren und wieder öffentlich zugänglich zu machen, scheiterten, mit Ausnahme des Ankaufs eines benachbarten Grundstückes durch die Marktgemeinde, bislang an der mangelnden Finanzierbarkeit bzw. am politischen Willen. Im März 2019 bekannt gewordene Überlegungen, die Synagoge abzubauen und im Fränkischen Freilandmuseum Fladungen wieder zu errichten, gaben der Überlegung zur Gründung eines Fördervereins zum Erhalt der Synagoge an ihrer historischen Stätte neuen Auftrieb.