I 1933 flyttet familien Pawel fra Tyskland fordi de var jøder, og dessuten aktive sosialdemokrater. Samme år brente og forbød nazistene Franz Kafkas romaner. Familien Pawel flyttet først til Beograd, men foreldrene fikk ikke arbeidstillatelse der, så tidene var trange. I flere år forsørget den unge Ernst Pawel sine foreldre, siden han fikk arbeid i et forlag, men i 1938 ble familien utvist fra Jugoslavia. Familien Pawel kom deretter til USA der Ernst etterhvert havnet i forsikringsbransjen – en jobb han hadde i 36 år.