Som toåring leste han sin første avis og som fire kunne han lese russisk, fransk og hebraisk. Han var medlem av Mensa. Bergier var interessert i mulighetene for utenomjordisk liv og utforsket rapporterte observasjoner av UFOer. Han var også en ivrig leser og skal ha hatt en fotografisk hukommelse, noe som gjorde ham i stand til å lese fire til ti bøker per dag.