Fue hijo de Josefina Herrera Medina y Rafael Larco Bruno, sus hermanos fueron Rafael, Alberto, Carlos, Geronimo y María Larco Herrera; contrajo primeras nupcias con Carolina Hoyle Castro con quien tuvo un hijo: Víctor Carlos.