Cramer ble født i en jødisk familie og hørte til grunnleggerne av Bund Deutsch-Jüdischer Jugend. I 1938 ble han arrestert, og tilbragte seks uker i konsentrasjonsleiren Buchenwald, før han emigrerte til USA i 1939. Hans far Martin Cramer hørte til grunnleggerne av Augsburger Literarische Gesellschaft.