Han giftet seg med Catherine Paton (1820-1867) i 1846. De fikk tre sønner og en tatter; Janet Torrie, Robert Torrie, Lawrence Jameson Torrie (født 1852), og Thomas Torrie som ble Scotland international rugby union-spiller.