Ved slutten av 2004-sesongen hadde Packers begynt å slite igjen. Sherman virket overveldet av arbeidsmengden og hadde problemer med å kommunisere med spillere som ha også hadde forhandlet kontrakter med. Harlan mente det var for mye for én person å ha stillingene som general manager og hovedtrener, og fjernet Sherman fra stillingen som general manager i 2005. Seattle Seahawks sin vice president of operations Ted Thompson ble ansatt som executive vice president, general manager og director of football operations, men forholdet mellom Thompson og Sherman virket anstrengt. Etter en -sesong som endte 4–12 sparket Thompson Sherman.