Před svým příchodem do NHL hrál McCaffrey osm sezon v Ontario Hockey Association za mužstvo Toronto Granites a získal s ním dvakrát Allan Cup v letech 1922 a 1923. V roce 1924 na zimní olympijské hry v Chamonix odjel reprezentovat Kanadu právě tým Toronto Granites. McCaffrey v pěti zápasech na šampionátu vstřelil 20 gólů a pomohl tak mužstvu k zisku zlatých medailí.