Pontus Hultén var sønn av sjefen for det svenske Naturhistoriske riksmuséet, botanikeren Eric Hultén. Han begynte sin karriere som intendant ved samme museum etter å ha studert kunsthistorie.