Opprinnelsen er en middelaldergård i landsbyen Tunby, som skal ha tilhørt slekten Rud. Denne byen ble nedlagt på 1400-tallet, og hovedgården ble flyttet til en holme i Tunbysjøen. Under resten av 1400-tallet var eierne slektene Falk og Gjøe, hvor spesielt Mogens Axelsen Gjøre og sønnen hans Eskil utmerket seg som fremstående og betrodde embetsmenn i den danske statens tjeneste. I begynnelsen av 1530-tallet døde den siste Gjøre og Tunbyholm overgikk til slekten Brahe.