Joseph Thomsons far drev et steinbrudd, og han lærte opp sønnen i sitt yrke. Han utviklet en sterk interesse for geologi og botanikk, og disse interesser bestemte hans videre utdannelse. Thomson studerte ved Universitetet i Edinburgh under blant annet Thomas Henry Huxley og Archibald Geikie.