Caffery verbrachte seine Juniorenzeit zwischen 1965 und 1968 in seiner Geburtsstadt Toronto, wo er für die Toronto Marlboros in der Ontario Hockey Association (OHA-Jr.) aktiv war. In seiner zweiten Saison mit der Mannschaft gewann der Stürmer das Double bestehend aus dem J. Ross Robertson Cup der OHA und dem Memorial Cup des Dachverbands Canadian Hockey League. Mit 42 Scorerpunkten in den 26 Ausscheidungsspielen in beiden Wettbewerben hatte das Talent maßgeblichen Anteil an den Titelgewinnen. In der folgenden Spielzeit konnte Caffery die Erfolge mit dem Team zwar nicht wiederholen, jedoch hinterließ er mit 83 Punkten in 48 Spielen einen nachhaltigen Eindruck bei den Scouts der National Hockey League (NHL). Zudem wurde er ins Second All-Star Team der OHA berufen. Statt jedoch in der Spielzeit 1968/69 in sein letztes Juniorenjahr zu gehen, wurde der Angreifer vom kanadischen Eishockeyverband Hockey Canada rekrutiert, um an der Weltmeisterschaft 1969 in der schwedischen Landeshauptstadt Stockholm teilzunehmen. Darüber hinaus kam er für die Herrenmannschaft der "Ottawa Nationals" zu ein paar Einsätzen. Im Sommer 1969 wurde Caffery – auch bedingt durch eine gute Leistung bei der Weltmeisterschaft – schließlich im NHL Amateur Draft 1969 bereits an der dritten Gesamtposition von den Chicago Black Hawks ausgewählt.