1812-től 1814-ig a müncheni katonai iskolának volt növendéke és 1815-ben mint hadnagy vett részt a waterlooi ütközetben. 1832-ben tagja lett a bajor képviselőháznak, melyben helyét 1848-ig megtartotta. 1848. május 19-én a frankfurti parlament elnökének választotta. Ő volt az, aki, midőn a német birodalmi kormányzói állás betöltéséről volt szó, a parlament figyelmét János osztrák főhercegre fordította, habár más oldalról minden módon arra törekedett, hogy a német császári korona a porosz királynak ajánltassék fel. 1848. december 16-án átvette a birodalmi minisztérium vezetését és azon indítvánnyal lépett fel, hogy Németország alakuljon szövetséges állammá Poroszország vezetése alatt, melyhez Ausztria csupán mint szövetséges állam kössön uniót. Midőn a porosz király a felajánlott császári koronát visszautasította, Gagern a birodalmi gyűlésből kilépett és miután egyideig még a porosz politika érdekében sikertelenül működött, birtokaira vonult vissza, majd a szerencsétlen holsteini háború után, melyben mint őrnagy vett részt, Heidelbergbe tette át lakását. Az 1859-es osztrák-francia háború után teljesen elfordult Porosztországtól és Ausztria pártjára lépett. 1864-től 1872-ig a hesseni nagyhercegséget képviselte a bécsi udvarnál és miután ezt az állást beszüntették, Darmstadtba vonult vissza.