Zámku předcházela tvrz, vystavěná Hrutovici v polovině 14. století. Její další osud je neznámý, pravděpodobně na konci 15. století zanikla. Pravděpodobně již krátce po zániku tvrze, nejpozději však v 80. letech 16. století zde nechali Brtničtí z Valdštejna vystavět lovecký zámeček obdélníkového tvaru se vstupní věží. Valdštejnům patřil zámeček až do Bílé hory. V roce 1623 se dostal zámek jako konfiskát po Zdenku Brtnickém z Valdštejna do rukou Rambalda XII. z Collalto e San Salvatore. V té době byl součástí brtnického panství a Rambaldo XII. za něj zaplatil 110 000 tolarů. Za Antonia Rambalda prošel úpravami, v 18. století barokní přestavbou, při které byly přistavěny obě boční věže. Na začátku 19. století byl klasicistně přestavěn. Drobné úpravy prováděl také Emanuela Collalta.