Astrup var sønn av Harald Astrup og bror av Eivind Astrup, Henning Astrup og Thorvald Astrup. Han var farfar til Sigurd Haraldssøn Astrup og Eivind Astrup, og oldefar til Nikolai Astrup.