Ifølge legenden ble huset bygget av Midhat Pasha til hans store kjærlighet, den vakre Kaliopa (eg. Maria Kalish), som imidlertid var hustru til den prøyssiske konsulen Kalish.