Han var sønn av David og Margaret Barnes Lattimore og ble født i Kina i Qingdynastiets tid. Han ble uteksaminert fra Dartmouth College i 1926. Hans bror Owen Lattimore var sinolog og ble utsatt for falske anklager i McCarthy-tiden. Han ble senere rehabiliert ettersom det ble funnet at det ikke var hold i beskyldningene. Deres søster Eleanor Frances Lattimore var forfatter og illustratør av barnebøker.