Ulm kom under NSDAPs kontroll i 1933 i likhet med alle andre tyske byer. Fra 1933 til 1935 ble det etablert en konsentrasjonsleir på Kuhberg, en av høydene rundt Ulm, primært for politiske motstandere av regimet. De rundt 500 jødene i Ulm ble først diskriminert og senere forfulgt. Deres synagoger ble revet ned etter krystallnatten i november 1938. Under andre verdenskrig ble byen sterkt skadet av allierte flyangrep. Det mest alvorlige angrepet skjedde den 17. desember 1944 og drepte 707 innbyggere og gjorde 25 000 hjemløse. Over 80% av den middelalderske bykjernen, før krigen en av de største i det sørlige Tyskland, lå i ruiner i 1945.