Тогда он обратил своё оружие уже против Венеции, возглавив Священную лигу, созданную против неё папой Юлием II. По случайности он был захвачен их войсками и содержался несколько месяцев в качестве заложника, подвергаясь оскорблениям. Когда папа и Венеция стали союзниками в 1510 году, его не только выпустили из тюрьмы: папа дал ему звание знаменосца церкви, отобранное у брата его жены Альфонсо д’Эсте. Но он был вынужден отдать взамен в заложники своего маленького сына Федерико.