Der erstmals 1578 schriftlich erwähnte Palast liegt auf dem Gebiet des einstigen Stadttors Varoš kapija bzw. des Stadtteils Kosančićev venac. In diesem Teil Belgrads, der sich auf dem Gebiet des Gefälles zur Save erstreckt, bildete sich bereits seit der türkischen Eroberung 1521 eine serbische Siedlung mit der alte Kirche des Hl. Erzengels Michael (sie befand sich an der Stelle der heutigen Kathedrale). Sie wurde erstmals 1578 von dem deutschen protestantischen Reisenden Gerlach beschrieben.