Han hadde en beryktet affære med den irske danserinnen Lola Montez, og dette, i kombinasjon med de allmenne revolusjonære strømninger i Tyskland i 1848 tvang ham den 20. mars dette år til å abdisere til fordel for sønnen Maximilian.