Најстариот дел на денешната палата бил изграден во 14 век од страна на принцот Стефан Андегавенски-Славонски, помладиот брат на кралот Лудовик I Анжујски. Готската палата на Лудовик I Анжујски била уредена околу тесна градина која се наоѓала веднаш до Стефановата кула.