Его прямое участие в расстреле антимонархической демонстрации на Марсовом поле 17 июля 1791 г. сделало его крайне непопулярным у парижан, и в ноябре того же года он был вынужден уступить пост мэра жирондисту Петиону. Байи удалился от общественной деятельности и занялся написанием мемуаров (опубликованы в 1821—1822 гг.), живя сначала в деревне, в Медёне (под Нантом).