Thomas Jameson Torrie var sønn av Patrick Torrie (1763-1810) og Janet Jameson (1776-1853), søster av naturalisten og mineralogen Robert Jameson, som hadde en sterk innflytelse på Thomas.