К губернаторству Воронежской областью пришёл Владимир Кулаков. В сезоне-2001 «Факел» занял в высшем дивизионе 15 место и вылетел в первую лигу. В конце 2001 года областная администрация уволила президента клуба Юрия Батищева и назначила на его место Эдуарда Саенко. В начале 2002 года команда была переименована в ФК «Воронеж». По официальной версии чиновников обладминистрации — из-за того, что название «Факел» в английском варианте звучало «неэтично». Переименование привело к оттоку болельщиков, и руководство поменяло название на «Факел-Воронеж». Сезоны 2002 и 2003 годов «Факел» провёл в подвале Первого дивизиона, в 2003 свалившись во Второй дивизион. Президентом «Факела» после увольнения Саенко стал Аркадий Можаитов. В 2004 году вернувший прежнее название «Факел» занял первое место в своей зоне и вышел в Первый дивизион. Перед сезоном-2005 у клуба имелся большой долг, который, во многом, накопила семья Саенко. Власти не стремились поддерживать команду. В 2005 году команде удалось сохранить прописку в первой лиге, но в сезоне-2006 «Факел» занял 19 место и должен был вылететь во Второй дивизион. 26 февраля 2007 года решением Совета ассоциации ПФЛ на основании заявления о добровольном выходе из состава членов Ассоциации «ПФЛ» «Факел» был исключён из членов ПФЛ.