Vilém Dubský z Třebomyslic pocházel z obce Třebomyslice u Horažďovic. Na Moravu se dostal roku 1570 a stal se zde nejvyšším sudím. V roce 1612 povýšil do panského stavu a v té době se řadil k nejbohatším moravským šlechticům. Kromě jimramovského panství vlastnil ještě Dačice, Nové Město na Moravě, Řečkovice, Biskupice, Drnovice, Lysice a Zdislavice. Správu Jimramova předal svému příbuznému Janu Dubskému (jejich vzájemný příbuzenský vztah není znám), který začal panství rozšiřovat, s čímž mu vydatně pomáhala jeho manželka Alina Zoubková ze Zdětína. V roce 1607 koupil horní mlýn a další pozemky, staral se ovšem také o další obce v panství. V Jimramovských Pavlovicích odkoupil a následně nechal rozšířit dvůr, roku 1614 Alina přikoupila rybník a hamry u Javorka, přičemž hamry nechala posléze zrušit a na jejich místě vybudovat mlýn. Kromě toho také provedl reformu trestního práva, když jako první feudál zavedl náhradní a podmíněné tresty. Zrušil tresty smrti a po přímluvě bezúhonných občanů, kteří se museli zavázat, že se zločinec polepší, trest zmírnil. Období rozkvětu trvalo až do Bílé hory, kdy Ferdinand II. Dubským majetek kvůli účasti na stavovském povstání zkonfiskoval.