Patriots sin rivalisering med Baltimore/Indianapolis Colts varte mens de to lagene spilte sammen i AFC East (1970-2001). De to klubbene møttes i flere kamper, som 19. desember 1971 da en sen touchdown ga Patriots seieren 21-17; 18. september 1978 da Colts slo Patriots 34-27 under , i hovedsak takket være Joe Washington; 4. september 1983 da Colts slo Patriots i ekstraomganger 29-23 i deres siste sesong i Baltimore. Patriots slo Colts i to kamper på rad som gikk til ekstraomganger, 23-17 den 8. desember 1991 og 37-34 den 15. november 1992. thumbnail|right|The Pats mot Colts i 2011 Selv om de to lagene ble plassert i forskjellige divisjoner da NFL gjorde endringer i 2002 betydde det ikke slutten på feiden. Begge lagene var på tiden på toppen i AFC, og begge var under ledelsen av quarterbacks som trolig kom til å få en plass i Hall of Fame, Peyton Manning for Colts og Tom Brady for Patriots. Lagene møttes tre ganger på fire år (2003, 2004, 2006) i sluttspillet, og vinneren av kampene gikk videre til å vinne Super Bowl hver gang. Mannings plass i rivaliseringen begynte i hans rookisesong i 1998; i 1999 tapte han 31-28 i slutten av september etter at Patriots, ledet av Drew Bledsoe kjempet tilbake fra en Colts-ledelse på 28-7. Manning og Colts slo deretter Patriots 20-15 i Indianapolis den 12. desember. Brady-Manning rivaliseringen begynte 30. september 2001, i Bradys første startkamp i NFL, med en 44-13 seier for Patritos i Foxboro; den 21. oktober slo Patriots Colts i RCA Dome 38-17.