Latham ble født i Eltham sørøst for London. Han var eldste sønn av John Latham (død 1788), som var kirurg der. Moren nedstammet fra Sotheby-slekten i Yorkshire.