I 1933 ble han medlem av NSDAP og i 1938 av SS. Her fikk han rekruttutdannelse ved et SS-regiment. Deretter tjenestegjorde han i tre år i Waffen-SS frem til han ble såret på Østfronten, og erklært uskikket til strid. 24. mai 1943 ble Mengele lege ved den såkalte «sigøyner-leiren» i Auschwitz. I august 1944 ble den delen av leiren stengt, og han ble sjef på sykestua i hovedleiren. Under sitt opphold i Auschwitz fikk Mengele tilnavnet «dødsengelen» siden han, sammen med andre leger, bestemte hvilke fanger som skulle sendes umiddelbart til gasskammeret, og hvilke som skulle utnyttes til slavearbeid eller eksperimenter.