Как и вся Германия, с 1933 года Ульм находился во власти Национал-Социалистической партии. В 1933—1935 годах на холме Куберг, в округе Ульма, был основан концентрационный лагерь для политических противников существовавшего правительства. Евреев Ульма стали ущемлять в правах, а затем начали преследовать; синагогу снесли в Хрустальную ночь в ноябре 1938 года. В ходе Второй мировой войны город сильно пострадал от бомбардировок авиации союзников. Разрушительнейший налёт произошёл 17 декабря 1944 года, погибли 707 человек и около 25 тысяч потеряли кров. К концу войны более чем 80 % построек средневекового центра, до того бывшего в ряду крупнейших в южной Германии, лежало в руинах.