Vzhledem k tomu, že tvrz v Kaceřově byla zpustlá a sešlá, rozhodl se Gryspek pro výstavbu nového zámku a stará tvrz pak sloužila k hospodářským účelům. Stavba zámku trvala téměř dvě desetiletí a prováděli ji zejména a převážně italští zedníci a kameníci. Začalo se s ní kolem roku 1540. Zámek byl sice částečně dokončen v roce 1548, ale pak jeho výstavba pokračovala dále v letech 1559–1562. Po bitvě na Bíle hoře se konfiskovaný zámek dostal spolu s kaceřovským panstvím do rukou cisterciáckého kláštera v Plasích.