La Trobe ble født i London og var sønn av Christian Ignatius Latrobe. La Trobe-familien var av hugenottopphav.