05年下台时把王位传给了他，称贝拉五世。然而，贝拉五世的支持者比瓦茨拉夫还要少。1308年，他被反叛的匈牙利贵族监禁，被迫让位给查理·罗贝尔，后者遂成为匈牙利唯一的国王。在贝拉五世于匈牙利执政期间，巴伐利亚的事务由他的弟弟斯特凡管理。由于过多地卷入奥地利和匈牙利事务，他在巴伐利亚的地位遭到削弱并且给巴伐利亚带来了财政问题。他于1312年在兰茨胡特去世，他在巴伐利亚的爵位由他的儿子亨利十五世继承。