Hijo del peruano Elías Latorre Morales, por línea paterna descendía de una prominente familia cusqueña; largo tiempo radicado en Bolivia, su padre se trasladó a Chile como vicecónsul general y "encargado de negocios" de ese país durante el gobierno del presidente Manuel Bulnes; en la ciudad de Valparaíso en 1842 contrajo matrimonio con la mendocina Nicomedia Benavente Valenzuela, hija del patriota chileno Juan José Benavente, emigrado luego de la batalla de Rancagua, con quien tuvo ocho hijos nacidos en Santiago, Lima y Valparaíso, ciudad última donde residía habitualmente la familia, siendo Juan José el primogénito.