V polovině 17. století zakoupil pozemky hrabě Rudolf Colloredo-Waldsee (1585–1657), velkopřevor maltézského řádu a rakouský generál, který jako vojenský velitel pražské posádky ubránil v roce 1648 Staré Město pražské před vpádem švédských vojsk. Palác nechal postavit v letech 1643–1656. V roce 1660 založil okolo paláce rozsáhlou terasovou zahradu umístěnou v petřínském svahu, která vznikla na místě staré vinice. Na jejím vrcholu byl postaven raně barokní zahradní gloriet.