早年.1239年，父亲阿尔布雷希特四世逝世，他继承了哈布斯堡伯国这一大遗产。1245年，鲁道夫一世娶了霍恩堡的格特鲁德，成为士瓦本公国的重要附庸国。鲁道夫一世时常探望他的教父神圣罗马帝国皇帝腓特烈二世，而他对腓特烈二世和其子康拉德四世的忠诚得到大量土地作为奖赏。1254年，教皇英诺森四世将康拉德四世处以绝罚，鲁道夫一世因为是康拉德四世的支持者亦受到绝罚。霍亨斯陶芬王朝的衰落引致长达近20年的神圣罗马帝国空位期，亦为鲁道夫一世带来增加领土的契机，并逐渐将势力扩展到莱茵河西岸流域。