Po odličnem znanju in izbranem okusu pa se je odlikoval zlasti Volbenkov sin baron Jožef Kalasanc, ki je bil v stiku z tedanjimi vodilnimi kranjskimi izobraženci, Breckerfeldom, Kopitarjem, Linhartom, Zoisom, Suppantschichem, naravoslovcem Freyerjem, slikarjem Janezom Potočnikom in drugimi. Avstrijski cesar Franc I. ga je leta 1808 poklical na Dunaj, da skupaj z ženo Jožefo Katarino iz rodu grofov Attemsov vzgajata njegove otroke. Ko se je baron leta 1815 vrnil domov v Dol, se je povsem posvetil urejanju svojih obsežnih zbirk umetnostnih predmetov (slike, grafike, kipi) in arhivskega gradiva (listine, dokumenti), povezanega s preteklostjo Kranjske ter seveda knjižnice. Sprva je zbirke hranil v sobanah dvorca. Ko pa so postale preobsežne, je dal zanje v grajskem parku postaviti dva klasicistično oblikovana paviljona, V enem je bila knjižnica, v drugem pa je hranil preostale zbirke. Na novo pa je dal urediti tudi park v pravi botanični vrt z več kot 7.000 rastlinami, med katerimi so bili številni eksoti. V času kongresa svete alianse v Ljubljani, leta 1821, sta dvorec obiskala cesar Franc I. in njegova žena Karolina, omenja pa ga tudi Ivan Tavčar v romanu "Izza kongresa".