Su posterior destino fue de gobernador de Pavía, ciudad que fue asediada por los ejércitos franceses de Francisco I entre octubre de 1524 y febrero de 1525 durante el cual Leyva dio tiempo a las fuerzas imperiales a reorganizarse y atacar a los franceses en la famosa batalla de Pavía.