James Croll ble født på en gård i Little Whitefield, som ligger i nærheten av Wolfhill i Perthshire i Skottland i 1821. Han var i stor grad selvlært, og studerte fysikk og astronomi på egen hånd. I en alder av 16 år ble han hjulmakerlærling i Collace nær Wolfhill, men helseproblemer gjorde at han begynte som tegrossist i Elgin i Moray. I 1848 giftet han seg med Isabella Macdonald.