James Kelly wurde als Sohn irischer Eltern die nach der Hungersnot in Irland nach Schottland kamen, im Jahr 1865 in Renton, West Dunbartonshire etwa 30 Kilometer nordwestlich von Glasgow geboren. Die Region West Dunbartonshire gilt als die Wiege des schottischen Fußballs. Er begann seine Karriere in seinem Heimatort beim im Jahr 1872 gegründeten FC Renton. Mit dem Verein gewann Kelly in den Jahren 1885 und 1888 den Schottischen Pokal. Am 28. Mai 1888 unterschrieb Kelly einen Vertrag bei Celtic Glasgow der ein halbes Jahr zuvor im November 1887 gegründet worden war. Ihm wurde die Ehre zu Teil, erster Mannschaftskapitän in der Geschichte des Vereins zu werden. Sein Schwiegervater Francis McErlean war einer der Gründungsväter von "Celtic". Er führte "Celtic" als Kapitän zum ersten Old-Firm-Derby der Geschichte am selben Tag seiner Verpflichtung auf das Spielfeld. Das Spiel gewann "Celtic" mit 5:2. Mit "Celtic" gewann er 1892 den Pokal, und 1893, 1894 und 1896 die schottische Meisterschaft.