Plassen var setegård allerede på midten av 1300-tallet og beboddes da av den berømte ridderen Peder Nielsen Kyrning, bror til erkebiskop Jacob i Lund. På slutten av middelalderen var den havnet i Brahe-slektens besittelse, hvilket den fortsatte med frem til 1663. Astronomen Tycho Brahe ble født her i 1546, og arvet siden halvdelen av godset, som han solgte til sin bror Steen da han forlot Danmark i 1597. Etter Steens død i 1620 gikk godset over til hans andre sønn, Erik Brahe, som igjen solgte det til sin bror riksråd Jørgen Brahe. Dennes sønn Steen Brahe d.y. var den siste Brahe på Knudstrup.