Han var oppkalt etter bestefaren Hans Rasmus Astrup (1754–1827), som var sogneprest i Grytten. Morbroren Jens Christian Schaanning var sogneprest i Kristiansund. Han giftet seg i 1862 med Augusta Elisabeth Lindqvist (1841–1908), datter av postfullmektig i Stockholm Johan Lindqvist og Maria Ulrikke Söderström.