Familiene Astrup og Fearnley har i flere generasjoner bestått av dyktige forretningsfolk og kunstnere. De var kjent for sin filantropi og hadde en lang tradisjon for å støtte kunstnere og samle på kunst. På bakgrunn av familiestiftelsen Thomas Fearnley, Heddy og Nils Astrup tok Hans Rasmus Astrup initiativet til å etablere et museum, og dele familiens og hans egen store samling av kunst med allmennheten.