Budynek współczesnego muzeum został pierwotnie wybudowany w XVI wieku. Z okresu tego zachowała się najniższa kondygnacja. Była tu mykwa (zamknięta dla zwiedzających) oraz synagoga społeczności żydowskiej pochodzącej z Persji. Trzęsienie ziemi na Bliskim Wschodzie (1759) i trzęsienie ziemi w Galilei (1837) spowodowały zniszczenie wielu budynków w Safedzie. Budynek ten także uległ wówczas zniszczeniu, zachowała się jedynie najniższa kondygnacja. Górną część odbudowano wówczas w stylu hiszpańskim. Górna kondygnacja składała się z dwóch dużych hali, które były wykorzystywane do początku XX wieku przez sąd rabiniczny. Na najwyższym piętrze Baron Edmond James de Rothschild sfinansował założenie szkoły. Podczas I wojny światowej (1914-1918) w budynku urządzono sierociniec. Zgromadzono w nim setki dzieci cierpiało z głodu i tyfusu. Szkoła została wówczas zamknięta. Po wojnie pomieszczenia wykorzystywano do celów mieszkalnych. Gdy w 1936 roku wybuchło arabskie powstanie w Palestynie, na ganku urządzono punkt obserwacyjny. W 1980 roku pisarz i dziennikarz Jehezkel ha-Me’iri założył tutaj muzeum i centrum edukacyjne. Celem było przekazywanie historii Safedu i podkreślanie walki miejscowej społeczności żydowskiej o przetrwanie. W sposób szczególny opisywane jest osadnictwo żydowskie w Palestynie.