Разболио се почетком 1807, тако да су га током битке код Ејлауа 7. фебруара 1807. морали придржавати на коњу, али успевао је да командује кретањем корпуса. Његов корпус је био готово уништен, а он сам је тада задобио рану, од које се никад није потпуно опоравио. Постао је 1808. наследни војвода од Кастиљона због победе 1796. код Кастиљона. У борбама у Каталонији добио је неке битке, али истицао се окрутношћу. Прилом инвазије Русије 1812. и у борбама у Саксонији 1813. показао се јако слабим командантом. Пред битку код Лајпцигу 1813. Наполеон га је укорио да то није онај Ожеро од Кастиљона. Ожеро му је одговорио да би се са оним војницима из Италије поново показао у правом светлу. Током 1814. заповедао је војском Лиона, а због држања оптужен је да да се нагађао са Аустријанцима. После тога служио је бурбонског краља Луја XVIII. Кад се Наполеон вратио са Елбе пришао је Наполеону, а Наполеон га је оптужио да је био издајник Француске 1814. Приликом рестаурације Бурбона Луј XVIII му одузима чин и пензију.