Miután szövetségeseivel vereséget szenvedett Károly Róberttől a rozgonyi csatában 1312-ben, befolyása csökkenni kezdett, de a király nem tudta őt térdre kényszeríteni egészen haláláig. 1313-ban még Ibur fia István vezetésével megostromolták csapatai Buják várát, de a felmentő sereg időben érkezett, így az ostrom sikertelenül végződött. Csak 1315-ben sikerült Szécsényi Tamás vezetésével a királyi hadnak véres ostrommal visszafoglalnia Visegrádot, amikor Csák Máté János cseh királlyal keveredett háborúságba, és a Morva menti várak (Veselí, Holics) védelme lekötötte haderejét. A független szlovák állam megteremtésének szándékát sugalló történészek vélekedésével szemben az egykorú cseh krónika szerint Máté hadseregében a magyar nyelv volt használatos.