Seine Fußballkarriere begann er bei "Stonehouse Violet". Am 15. Oktober 1950 wechselte er zu Celtic Glasgow. John Jack sollte in einer 9-jährigen Zeit bei den Bhoys in 68 Pflichtspielen zum Einsatz kommen. Mit dem Verein gewann er in 1950er Jahren zahlreiche Titel. Am 22. Dezember 1951 debütierte er für Celtic in einem Ligaheimspiel gegen den FC Motherwell. Nebenbei arbeitete er in den Minen. Jack kam in seiner Zeit in Glasgow bis 1959 einzig in den Spielzeiten &lt;a href="Scottish%20Division%20One%201953/54"&gt;1953/54&lt;/a&gt; und &lt;a href="Scottish%20Division%20One%201956/57"&gt;1956/57&lt;/a&gt; regelmäßig in der Liga zum Einsatz. Meist war er in der Reserve im Einsatz und war dabei auch in Traineraufgaben tätig. Im Jahr 1953 gewann er mit Celtic den Coronation Cup, der zu Ehren der Krönung von Elisabeth II. ausgespielt wurde. Mit dem Team gewann er zudem 1954 die schottische Meisterschaft. In den Pokalwettbewerben kam er auf 20 Spiele, und gewann im Jahr 1954 den schottischen Pokal und 1957 und 1958 den Ligapokal. Von 1959 bis 1960 spielte er noch für den schottischen Zweitligisten Greenock Morton.