José Garibi Rivera var sønn av Miguel Garibi y Reyes og Joaquina Rivera Robles, begge to var barn av innvandrede fra Spania. Hans farfar var Manuel Garibi y Villaseñor, faren nedstammet fra Domingo Garibi y Arteábaro fra Baskerlandet, og moren fra Juan de Villaseñor fra La Mancha.