Původní tvrz nechal někdy po roce 1529 vystavět Mikuláš z Víckova. Ten jej roku 1547 prodal Václavu mladšímu z Lichtenburka. V roce 1575 ji od Apolonie Bítovské z Lichtenburka odkoupil Volf Štrejn ze Švarcenavy a od něj roku 1607 Jan Čejka z Olbramovic. Za Jana Čejky prošla tvrz v první čtvrtině 17. století přestavbou na renesanční zámek. Po Bílé hoře zámek jako konfiskát získal Adam Gabelhouer. V roce 1636 jej koupili Schaumburkové, v roce 1662 Ostašovští z Ostašova a v roce 1786 hrabě Jan Jindřich Nimptsch. Za Ostašů prošel v 18. století barokní úpravou. V letech 1820–1830 za Nimptschů dostal současnou, klasicistní, podobu. Interiéry však byly upraveny v duchu empíru. V polovině 19. století vznikl anglický park, rozkládající se v okolí zámku. Od roku 1916 byl v majetku hraběte Josefa Volfganga Marii Stubenberg, jenž jej po roce 1945 musel opustit a zámek sloužil jako kasárna. V 60. let v něm byl umístěn domov důchodců. Poslední změny se dočkal v roce 1996, když tu byl zřízen Ústav sociální péče s částí pro léčbu chronických alkoholiků (od roku 1997). V roce 2004 se stal příspěvkovou organizací kraje Vysočina.