Iver Krabbe begynte oppførelsen av en hovedbygning på Krabbesholm, men byggearbeiderne ble imidlertid først ferdige under Magdalene Banners enketid. Bygningen er oppført i to etasjer over kjeller, og nederst er murene kledd i kvadersten, mens lengre oppe er de kledd i munkesten. Over vinduene er det runde buer og de spisse gavlene med blendinger er i sengotisk stil. På gårdsiden finnes et firkantet tilbygg, bygget sammen med et rundt hjørnetårn. På nordsiden ses også et mangekantet hjørnetårn.