Gården nevnes første gang i skriftlige kilder i 1350, og i de følgende år kom den i eie hos Danmarks mest innflytelsesrike slekter. Rikets marsk Holger Rosenkrantz (1517–75), gjorde den til setegård i 1548, og fra hans tid stammer den nordre fløyen av borgen. Rosenkrantz' enke, Karen Gyldenstjerne (1544-1613) fortsatte byggingen etter mannens død, men overlot rundt 1590 Boller og Rosenvold til sine voksne sønner og bosatte seg i et tidligere kloster i Horsens. Sønnen Otte Christoffer Rosenkrantz (1569–1621) satte seg i så stor gjeld at han måtte selge Boller til Ellen Marsvin.