Батьки Джеймса — Джон Конноллі та Мері Макгінн — були ірландськими іммігрантами-католиками з графства Монахан. Його сім'я переселилася до Шотландії через Великий голод 1840-х років. Сім'я Конноллі жила в жахливій бідності, його батько підпрацьовував візником і двірником, мати Мері померла від хвороби, коли Джеймс був ще зовсім малим. До десяти років він ходив до католицької початкової школи, але сім'я потребувала грошей, і тому вже в одинадцять років Джеймс влаштувався посильним до единбурзької газети. Одначе проблем із грошима це не вирішило, і в 14 років Джеймс записався до британської армії, пішовши туди за прикладом свого старшого брата Джона. Конноллі назвався чужим ім'ям і завищив свій вік, аби його прийняли.