Krogholm gods tilhørte på 1300-tallet den dansk-skånske adelsslekten Due, på 1400-tallet familien Thott, og senere Braheslekten. En av disse var Tyge Axelsen Brahe, en av sin tids rikeste og mest betydningsfulle menn, som også eide Tosterup slott og Hvidskøvle. En annen slektning var riksrådet Lave Brahe, gift med den stenrike fru Gørvel Fadersdatter.