Goldin utvandret til Norge på jødisk visum i 1973. I 1978 begynte han å arbeide med barnekunst etter en skilsmisse der han mistet kontakten med sønnen sin. Sammen med sin nye kone Alla Goldin (1938–2007) bygget han opp en samling av internasjonal barnekunst, og museet ble offisielt åpnet på Frøen i Oslo i 1986.