Růtové z Dírné zámok získali na konci 16. storočia. Ako kališníkom im však bol majetok po bitke na Bielej hore v roku 1620 skonfiškovaný, i keď sa českého stavovského povstania nezúčastnili. V časoch tridsaťročnej vojny vlastnil miestne panstvo taliansky kapitán Antonio Bruccio. Po jeho smrti kúpil zámok v roku 1641 Vilém Slavata z Chlumu a Košumberka. Po roku 1641 a v rokoch 1658 – 1678 bol zámok barokovo prestavaný na letohrádok, kam Slavatovci jazdili z neďalekého Jindřichovho Hradca.