Museet ble grunnlagt i 1958 av Knud W. Jensen, som ervervet villaen med det formål å etablere et museum for moderne kunst. Jensen var også museets direktør fram til sin død i 2000. Helt fra begynnelsen var det Jensens visjon å skape et museum med sjel og hvor kunsten skulle komme publikum i møte, ikke høystemt, men som noe som kommuniserte direkte med beskueren. Han understreket det betydningsfulle i behovet med «supplerende innhold» som kunne medvirke til å levendegjøre og berike miljøet.