Winterfeld ble født i Hamburg. Han studerte musikk i Berlin, før han viet sitt yrkesliv til litteratur og film. På grunn av sin jødiske bakgrunn så seg nødt til å flykte fra landet på etter at Hitler kom til makten i 1933. Han dro først til Østerrike og bodde der frem til han emigrerte til Frankrike i 1938. Året etter ble han arrestert og internert i Nevers, men han klarte å emigrere til USA før den tyske invasjonen av Frankrike i 1940. Han ble amerikanske statsborger i 1946.