004年，在雷根斯堡帝国会议中，亨利五世从他的妹夫神圣罗马皇帝亨利二世得到巴伐利亚公国作为封地，成为卢森堡王朝第一位巴伐利亚公爵。同年，巴伐利亚军队可能在他的领导下参加亨利二世的伦巴第和波希米亚远征。翌年，他与巴伐利亚军队一起参加国王在下卢萨西亚对波列斯瓦夫一世进行的军事行动。但是，当国王给班贝格教区提供公爵渴望的丰富物资，以及当亨利五世推举弟弟出任特里尔大主教的身份而被亨利二世不承认阿达贝罗成为特里尔大主教，因为害怕卢森堡王朝过于强大，亨利五世与姐夫的关系变得疏远。因此亨利五世于1008年开始与亨利二世对