Од 1803. више нема статус „слободног царскога града“ и припаја се Баварској. Године 1810. Улм улази у састав Краљевства Виртемберг. Наполеон је 1805. у великој бици код Улма победио и уништио целу аустријску армију.