Men han måtte til gjengjeld gi opp den ungarske kronen. For pave Bonifatius VIII, som gjorde krav på lensoverhøyhet over Ungarn, erklærte hans herredømme over Polen og Ungarn tilslutt for ugyldig. Etter noen få uker innhikk han en avtale med kong Albrecht I, som forsøkte med militærmakt å gjennomdrive pavens beslytning. Václav tapte Egerland og dessuten deler av Vogtland og Mark Meißen. Den ungarske krone tapte han til kong Otto av Bayern.