Han vokste opp i Corleone og ble med i mafiaen sent i tenårene. På denne tiden var Michele Navarra leder av Corleonesi, men Provenzano ble nær venn av Luciano Leggio, en ung og ambisiøs gjengleder. Navarra og Leggio innledet krig mot hverandre på midten av 1950-tallet.