Dům si nechal postavit maďarský lékař Gábor Galantay, který uprchl po maďarské revoluci v roce 1848 do dnešní Bosny, která byla pod tueckou nadvládou. Dům byl dokončen v roce 1858 a odlišoval se snad vším od tradiční bosenské zástavby a domů s bílými zdmi a dřevěnými střechami s prudkými štíty. Okna byla dekorována oblouky a budova měla rovněž i nápadné pilastry. V roce 1875 dům odkoupila rodina Hafizadićů (rovněž lékařů), která jej vlastnila i po značnou část 20. století. Podle nich má stavba své současné jméno.