Rosenfeld var jøde, og fødebyen Lemberg er nå Lviv, en av de største byene i Ukraina. Han vokste imidlertid opp i Wöllersdorf nær Wiener Neustadt. Han tok eksamen i medisin med spesialisering inngen urologi ved Universitetet i Wien. Etter Anschluss ble Rosenfeld deportert til konsentrasjonsleiren Dachau og senere til konsentrasjonsleiren Buchenwald. I 1939 ble han løslatt, men måtte forlate Tyskland innen to uker. Ettersom Kina ikke krevde at jøder måtte søke om innreisevisum, flyktet han til Shanghaighettoen.