2004 год стал провальным для российской сборной: команда не вышла из группы на чемпионате Европы 2004 года, а самому Колоскову в разговоре с Борисом Грызловым дали знать, что кредит доверия к президенту РФС может быть скоро исчерпан, хотя президент ОКР Леонид Тягачёв и председатель Госкомспорта Вячеслав Фетисов говорили, что отставка Колоскова не обсуждалась. Тренировавший сборную Георгий Ярцев после чемпионата Европы в отставку отправлен не был, что Колосков позже считал своей ошибкой. Поворотный момент наступил 13 октября 2004 года, когда сборная России потерпела крупнейшее в истории поражение от сборной Португалии со счётом 7:1 в рамках отбора на чемпионат мира 2006 года в Германию: критике подвергли игроков, тренерский штаб и руководство РФС, причём к критике присоединился Владимир Путин, назвавший игру и поведение позором. По словам Колоскова, после поражения в Лиссабоне 1:7 в его кабинете была установлена прослушка, а позже был проведён обыск с целью поиска компромата: в итоге материалов, компрометирующих Колоскова, так и не нашли. Колосков утверждал, что готов был покинуть пост в 2005 году в случае невыхода сборной на чемпионат мира в Германию (в итоге сборная не добралась даже до стыковых матчей), но утверждал, что в случае выхода сборной в финальный этап проработал бы на посту ещё год, а уже затем окончательно ушёл бы в отставку.