Caffey fu scelto nel settimo giro del Draft NFL 1963 dai Philadelphia Eagles venendo inserito, dopo la sua prima stagione, nella stagione ideale dei rookie. Caffey la stagione successiva fu acquisito dai Green Bay Packers dove divenne il linebacker titolare. Con un tempo di 10 secondi netti nelle 100 yard era uno dei giocatori più veloci della sua epoca. Nella squadra diretta da Vince Lombardi vinse il campionato NFL nel 1965, il Super Bowl I, dove guidò la squadra con 7 tackle, e il Super Bowl II. Caffey fu inserito nella formazione ideale della stagione All-Pro nel 1966 e nello stesso anno venne convocato per il Pro Bowl.