Po roce 1578 podnikl císař Rudolf II. zásadní renesanční přestavbu na vyhlídkový letohrádek dnešní obdélné dispozice s terasou a lodžií. V polovině 17. století v roce 1648 přežil bez úhony i vpád švédských vojsk do Prahy během třicetileté války. V 17. století byl letohrádek spojen s Pražským hradem kaštanovou alejí, kterou ovšem vykácela francouzská vojska při okupaci Prahy v roce 1742, alej však byla později obnovena, nicméně letohrádek v té době chátral a pustl. koncem 18. století jej jako letní sídlo obýval nejvyšší lovčí království českého, hrabě Černín.