Gården første kendte ejer er "Fru Anne Rønnow", ifølge overleveringen "”en rænkefuld kvinde”" der døde år 1572 som enke efter Johan Urne til Rygaard og Engestofte. Hun efterlod Eskemosegaard til sin datter Mette, som i 1575 giftede sig med en skotsk adelsmand ved navn Alexander Durham, der antagelig kom til Danmark under syvårskrigen og som kaptajn stod i spidsen for en afdeling af sine landsmænd i dansk sold Efter freden var han knyttet til kongens hofstat og tjente fra 1573 ved flåden som skibshovedsmand og admiral, indtil han i begyndelsen af 1600 i Christian IV's følge på togtet til Nordkap døde af et slagtilfælde.