W połowie XVIII wieku beduiński szejk pochodzący z Tyberiady, Dhaher al-Omar zbuntował się przeciwko Osmanom. Opanował i ufortyfikował Akkę, która stała się jego głównym miastem. Położone w Górnej Galilei miasto Safed odgrywało ważną rolę w kształtowaniu lokalnej gospodarki. To właśnie Dhaher al-Omarowi przypisuje się wybudowanie seraja w Safedzie. Trzęsienie ziemi w Galilei (1837) zburzyło część pałacu. Został on odbudowany przez Turków i służył jako pałac osmańskiego gubernatora miasta. Część pomieszczeń wykorzystywano jako więzienie. W 1900 roku dobudowano do niego wieżę zegarową. W okresie panowania Brytyjczyków (lata 1918-1948), seraj służył brytyjskiemu gubernatorowi. Podczas pogromu w Safedzie (1929) wielu Żydów schroniło się w seraju, mając nadzieję na ochronę ze strony brytyjskich władz mandatowych. Jednak gdy Arabowie wspięli się na otaczający dziedziniec mur, Brytyjczycy nie zareagowali. W rezultacie Arabowie bezkarnie strzelali do siedzących na dziedzińcu Żydów. Po I wojnie izraelsko-arabskiej w 1948 roku miasto Safed znalazło się w państwie Izrael. W kolejnych latach budynek służył różnym celom. W 1975 roku dzięki pomocy finansowej filantropów Izaaka Wolfsona i jego żony Edith, budynek został odnowiony i przystosowany do potrzeb centrum kultury "Isaac i Edith Wolfson Community Center".