Barokní terasovitá zahrada italského typu nacházející se na severním svahu Petřína nad Vrtbovskou zahradou vznikla, spolu s palácem, okolo roku 1650 zásluhou velkopřevora řádu maltézských rytířů a vojenského velitele Prahy, rakousko-uherského generála hraběte Rudolfa z Colloredo-Waldsee. Hrabě v bitvě u Lutzenu přišel o nohu, a proto dal postavit schodiště vedoucí na první zahradní terasu se speciálním sklonem, aby mohl jezdit na koni přímo do paláce.