I 2004 ble Fitzpatrick utpekt til Ivy League Player of the Year og ble tildelt George H. Bulger Low Award, etter en sesong hvor han hadde 1 986 yards med 13 touchdowns og seks interceptions. Han ledet også Harvard til en ubeseiert sesong, 10–0, og Ivy League Championship-tittelen. Med 448 yards på løp var han nummer to på laget, og hadde også fem scoringer på bakken.