John Grahame wurde beim NHL Entry Draft 1994 von den Boston Bruins aus der National Hockey League in der neunten Runde an Position 229 ausgewählt. Danach spielte Grahame drei Jahre für die Lake Superior State University in der Central Collegiate Hockey Association, ehe er 1997 zum Farmteam der Boston Bruins, den Providence Bruins, in die American Hockey League wechselte. Dort spielte er zwei Jahre als Stammtorhüter und holte 1999 den Calder Cup. Auch in den nächsten zwei Jahren spielte er für Providence, aber nun kam er auch in der NHL für Boston zum Einsatz, konnte sich aber nicht durchsetzen.