Джон Кросби родился в начале 1931 года в Сент-Джонсе (Ньюфаундленд) в семье Чесли (Чеза) Кросби, представителя династии финансовых и политических лидеров Ньюфаундленда. Его дед по отцовской линии, сэр Джон Чокер Кросби, был министром финансов в правительстве Ньюфаундленда в 1924 году, а отец, в основном занимавшийся предпринимательской деятельностью, в конце 1940-х годов возглавлял Партию экономического союза Ньюфаундленда, выступавшую против условий присоединения Ньюфаундленда к Канаде, которые считал неравноправными. В юности Джон Карнелл Кросби разделял взгляды своего отца, став в 1948 году в результате референдума, по собственным словам, «канадцем против собственной воли».