Od 1933-1935 je na Kuhbergu, enem od okoliških hribov, delovalo koncentracijsko taborišče, predvsem zaradi političnih nasprotnikov režima. Judje v Ulmu, okoli 500 ljudi, so bili najprej diskriminirani in pozneje preganjani; njihovo sinagogo so podrli po Kristalni noči v novembru 1938. Edino strateško bombardiranje zavezniških sil med drugo svetovno vojno, se je na Ulm zgodilo 17. decembra 1944 in sicer na dve veliki tovarni tovornjakov Magirus-Deutz in Kässbohrer, kot tudi drugo industrijo, vojašnice in depoje v Ulmu. Uničenih je bilo več vojaških bolnišnic in vojašnica Gallwitz. Ubitih je bilo 707 prebivalcev, po vseh bombnih napadih je bilo 25.000 brezdomcev, več kot 80% srednjeveškega mestnega jedra je bilo v ruševinah, stolnica je ostala v veliki meri neprizadeta.