Bei Beginn des Französisch-Russischen Krieges 1812 wurde Fabre wie die anderen drei französischen Ingenieure nach Jaroslawl, Poschechonje und schließlich Irkutsk verbannt mit nur einem einfachen Gehalt. Im Hinblick auf Fabrs prekäre Lage wurde auf Antrag der Irkutsker Verwaltung ihm wieder das doppelte Gehalt gewährt.