Благодаря рекомендациям Жозеф стал гусаром под именем Антельм-Жозеф. По его собственным рассказам, в гусарских частях он воевал в Италии, Германии, принимал участие в войне с Россией (у Березины была убита его лошадь). Считается, что он дослужился до полковника и был адъютантом у маршала Груши. Жозеф поддержал императора Наполеона во время «Ста дней» и принял участие в Ватерлоо под командованием Нея.