Klaus Hugo Adam ble født i en velstående jødisk familie i Berlin. Faren drev sammen med sine brødre en fremgangsrik klesbutikk. Da nazistene tok makten ble familiens forretning tvunget i konkurs og i 1934 emigrerte deler av familien til Storbritannia. Adam gikk på St. Paul's School i Barnes, University College London og Bartlett School of Architecture der han studerte arkitektur. Under andre verdenskrig tjenestegjorde han i Storbritannias flyvåpen. Fan fløy etterhvert jagerflyangrep «mot nazistene og Hitler, men ikke mot Tyskland». Dermed var han en av tre tyskere i Royal Airforce. En av de to andre var hans bror Denis. Etter krigen studerte han arkitektur.