В 1812 году участвовал в походе в Россию в составе 9-го корпуса маршала Перрена: находился в штабе 12-й дивизии графа Партуно. Вновь попал в плен — при Березине. Находился в плену в Казани, где жил в доме деда Д. И. Завалишина и женился на дочери хозяина (а по показаниям Завалишина — на крепостной девушке деда Льва Васильевича Толстого, которая выходила обмороженного и умиравшего генерала), дал ей отличное образование и имел от неё троих детей (два сына и дочь). При высылке пленных французов на родину в 1814 году, подал прошение о принятии в русскую службу и был вызван в Санкт-Петербург. Его прошение рассматривал лично Александр I. Бойе позволили остаться, сохранив жалование пленного генерала, но в праве на службу отказали. Бойе давал частные уроки французского языка и военных наук, был гувернёром в доме барона Ралля. Когда в 1822 году к власти в Гаити пришел генерал Жан-Пьер Бойе, — его родственник и бывший его адъютант в Порт-о-Пренсе, Я. П. Бойе был направлен начальником российского Главного штаба князем П. М. Волконским в Сан-Доминго с секретной миссией в интересах французского правительства.