Hans kone Engel Astrup var tekstilkunstner. Astrup og familien levde i trange kår på en liten gård ved Jølstravatnet. Han var hele livet plaget av astma, og han døde av lungebetennelse 47 år gammel. Gården, Astruptunet, er nå en del av Sogn og Fjordane Kunstmuseum som også eier en del av Astrups verk. Sparebankstiftelsen DNB kjøpte Jon Christian Brynhildsens store Astrup-samling som har fast visningsplass på KODE 4 i Bergen.