I 1751 opprettet Preben Brahe lensgrevskapet Brahesminde, hvor Hvedholm ble hovedsete. Preben Bille Brahe Selby ble den siste lensgreve som bodde på¨slottet, og han ga bygningene deres nåværende utseende ved ombygninger i 1880.