I 2005 ble lagets forsvar forbedret, som gjorde dem til en klar favoritt i ligaen. De vant de første 13 kampene i sesongen og avsluttet seriespillet 14–2, og var nummer to i NFL i både poeng scoret og færrest poeng tillatt. Igjen klarte de kun å nå divisjonsrunden, hvor de ble slått ut av Pittsburgh Steelers 21–18. Etter nok et skuffende nederlag hadde Manning fått et rykte for å ikke klare å nå mesterskapskampen, som hadde fulgt ham helt fra college hvor han ikke klarte å vinne en NCAA-tittel med Tennessee Volunteers (som vant tittelen året etter han ble uteksaminert). Colts mistet noen nøkkelspillere etter 2005-sesongen inkludert James, som gikk til Arizona Cardinals, og kicker Mike Vanderjagt, som holder NFL-rekorden for prosentandel scoringer på field goals, som gikk til Dallas Cowboys. De plukket også opp en viktig spiller: den 31 år gamle special teams returneren Terrence Wilkins. Selv om Wilkins hadde vært ute av ligaen i tre år avsluttet han sesongen med 52 returnerte avspark for 1 272 yards (#9 i NFL).