Спустя несколько лет Наполеон направил Шабера в Испанию в составе корпуса генерала Дюпона. В сражении при Байлене Шабер командовал авангардом корпуса, причём под ним было убито две лошади. Попав в окружение, и далеко не исчерпав попыток прорвать его, Дюпон подписал с испанскими герильясами акт о капитуляции, после чего получил разрешение вернуться вместе с другими генералами во Францию, где всех их предали военному суду. Шабер был разжалован и вышел в отставку, находился под полицейским наблюдением. Тем не менее, в 1809 году Наполеон возвёл его в достоинство барона Империи.