Als 12-jarige jongen, zoon van de Pruisische cavalerist en zakenman Fritz Adam en Lilli Saalfeld, zag hij in 1933 de Rijksdagbrand vanuit de Tiergarten. Het Joodse gezin Adam vluchtte voor het groeiende nationaalsocialisme in 1934 uit Duitsland naar Groot-Brittannië. Al tijdens zijn schooljaren op het gerenommeerde Französisches Gymnasium in Berlijn en St. Paul's School in Londen viel zijn artistieke talent op bij zijn leraren door zijn levensechte tekeningen van Goethe en Schiller en reproducties van de zelfportretten van Van Gogh. Op aanraden van filmontwerper Vincent Korda koos hij voor een studie architectuur aan het University College London nadat hij in Engeland was gegrepen door expressionistische Duitse films als "Das Cabinet des Dr. Caligari" en "Das Testament des Dr. Mabuse" van Fritz Lang: "They were so theatrical, these artists who dreamt up these fantastic dreamlike environments, and it struck a note with me — ze waren zo theatraal, de artiesten die deze fantastische droomwerelden tevoorschijn toverden, en dat raakte een gevoelige snaar in mij".