Изменения торговых путей, последовавшие за открытием Нового Света (XVI век), и разразившаяся Тридцатилетняя война (1618—1648) повлекли за собой постепенный упадок Ульма. До того, как городские укрепления были усовершенствованы, в Ульме попеременно хозяйничали то баварские, то французские оккупанты. В последний раз город был взят баварскими войсками в 1702 году. В войнах, начавшихся после Французской революции, город поочерёдно занимали французские и австрийские силы, уничтожившие городские укрепления. Потеряв в 1803 году статус имперского города, Ульм вошёл в состав Баварии. В кампании 1805 года Наполеону удалось заманить сюда австрийскую армию генерала Макка и принудить его сдаться в битве при Ульме. В 1810 году Ульм был включён в состав Вюртембергского королевства и потерял свои задунайские окрестности, с тех пор известные как Новый Ульм ().