Leos folkelige bakgrunn gjorde at han høstet en viss fiendtlighet og motstand fra det romerske aristokratiet, som heller ville ha en pave fra deres eget miljø. Han fikk en rekke tvilsomme beskyldninger rettet mot seg, som utroskap og mened. På Markusdagen, 25. april 799 ble han overfalt av en gjeng som rev av ham de pavelige gevantene og prøvde å stikke ut øynene og skjære av ham tungen. Han ble deretter formelt avsatt og plassert i et gresk kloster; men det viste seg at han verken hadde mistet synet eller taleevnen. Han flyktet ved hjelp av venner fra klosteret og kom seg til Karl den store som eskorterte ham tilbake til Roma under sin beskyttelse. Gjenkomsten til Roma den 29. november ble et triumtog da avsettelsen av Leo hadde hatt svært liten folkelig støtte.