Согласно легенде, он принимал участие в Трафальгарской битве, состоявшейся 21 октября 1805 года, и был в ней ранен. По другим данным, ссылающимся на отчеты от 6 сентября 1815 и от 25 декабря 1818 годов, рана была получена им значительно позже и связана с эпизодом, когда Жозеф спас от гибели Октава Сегюра (1779—1818), сына известного деятеля.