Astrup ble født på gården Eikrem på Fannestranda i nåværende Molde. Biografien nevner at han vokste opp på gården Eikrem som faren kjøpte i 1830. Han var sønn av kaptein, gårdbruker og ordfører i Bolsøy, Ebbe Carsten Tønder Astrup (1794–1888) og Mortine (Martine) Helsing (1803–75). Etter oppveksten i Molde flyttet han ti år gammel til Kristiansund for å begynne på borgerskolen der; han bodde hos mormoren, fru Ragnhild Helsing.