Gårdens historie går tilbake til den senmiddelalderen. Opprinnelig skal den ha bestått av to gårder, Nordre- og Søndre-Skovshoved, som lensmannen Niels Høeg på Skivehus fikk overdratt av Kong Hans, hvorpå han samlet dem til en hovedgård. Via Høegs hustru gikk gården da i arv til Banner-slekten i et par generasjoner, hvoretter Magdalene Banner brakte den til sin mann Iver Krabbe til Østergaard, etter hvem gården nå fikk navn.