В 1812 году, во время военных действий с французами, он был удалён на жительство сперва в Ярославль, затем в Пошехонье и наконец в Иркутск, с производством ему одного лишь штатного жалованья. Вследствие особого ходатайства высшего иркутского начальства, ввиду крайне бедственного материального положения Фабра, последовал Высочайший указ о назначении ему вновь двойного оклада.