Nach dem dänischen Staatsbankrott von 1813, der viele Bauern in den Ruin trieb, kaufte Jens Christian Krag-Juel-Vind-Frijs (1779–1860) zahlreiche verschuldete Pachthöfe auf. 1844 integrierte er Boller in die Grafschaft Frijsenborg. Im selben Jahr ließ er erneut Umbauten an dem seit Längerem unbewohnten Schoss vornehmen. Der Südflügel wurde in drei Gästeapartments aufgeteilt, die Wände gestrichen und die Zimmer neu einrichtet. Diese Erneuerungen geschahen vor dem Besuch von König Christian VIII., der sich mit Königin Caroline Amalie, Kronprinz Friedrich und einem großen Gefolge von insgesamt 84 Personen auf einer Reise durch Jütland befand und sich im September 1844 für zwei Wochen auf Boller aufhielt. Am 18. September wurde der Geburtstag des Königs im Garten von Boller gefeiert. Anlässlich des königlichen Besuches malte Ferdinand Richardt das Schloss.