James Thomson var det fjerde av ni barn til Thomas Thomson og Beatrix Thomson (født Trotter). Beatrix Thomson var født i Fogo i Berwickshire og var en fjern slektning av huset Hume. Thomas Thomson var presbyteriansk pastor i Ednam til åtte uker etter Thomsons fødsel, men ble da pastor i Southdean, og det var der James hadde det meste av sine unge år.