Da Graham flyttet til Oslo i 1854 tok han med kone og syv barn. Han hadde da arbeidet i flere år som lokfører i England. Etter ankomst Oslo bidro han selv til byggingen av strekningen. Han og familien ble boende i Norge. Etter at hans kone døde, giftet han seg på nytt med Tonette Andersdatter fra Vestre Toten. De fikk tre barn sammen.