Ivo Baldi Gaburri var sønn av metallarbeideren Domenico Baldi og hans hustru Anna Gaburri, som arbeidet i en tobakkfabrikk. Hun gikk på Scuola elementare San Filippo og Scuola media Dante Alighieri, og senere på gutteseminaret i Città di Castello. Deretter studerte han filosofi og katolsk teologi ved det regionale seminar i Assisi.