Tommaso Berger nacque a Vienna, da una agiata famiglia ebraica: la famiglia viveva a Milano, dove era arrivata in seguito all'annessione dell'Austria alla Germania di Hitler. Nel 1943 lasciò l'Italia e fuggì in Svizzera, dopo che, a seguito dell'entrata in vigore delle leggi razziali fasciste nel 1938, si era rivelata insufficiente la conversione al cattolicesimo.