Hans mest knusende nederlag skjedde i slaget ved Pavia i 1525 hvor han ble tatt til fange av Karl V. Cesare Hercolani hadde skadet hesten hans, og han ble tatt til fange av spanjolene Juan de Urbieta, Diego Dávila og Afonso Pita. Det har blitt sagt at den berømte matretten Zuppa alla Pavese ble oppfunnet der og da for å gi kongen mat etter slaget. Frans I av Frankrike ble holdt som fange i Madrid og tvunget til betydelige innrømmelser til Karl V før han ble satt fri. Da han kom tilbake til Frankrike, argumenterte han for at innrømmelsene var blitt gitt under tvang, og han nektet å utføre dem.