Familien kom i 1750-årene til Danmark med Abraham (født om. 1749 i St. Croix, død 31. oktober 1831). Den lille gutten ble brakt til riket av en skipper med navnet Møller, som solgte ham til Frederik Christian baron Rosenkrantz til Rygård. Rosenkrantz gav ham forsørgelse og utdannelse. Det var sannsynligvis også han som gav gutten navnet Sortenstierne, som viste til og hedret Abrahams opphav i Afrika.