298年击败阿道夫，正式登基。1308年，阿尔布雷希特一世被自己的侄子士瓦本的约翰杀害，自此后虽然阿尔布雷希特的次子腓特烈曾被选举为对立国王，并与巴伐利亚的路德维希四世共治，然而其后的100年间哈布斯堡家族的势力开始退缩到以奥地利爲主的家族领地，并把南阿尔萨斯、布赖施高（Breisgau）和帝国内的其他一些领地陆续划入治下。14世纪期间，新成立的瑞士联邦不断向德国南部扩张，导致哈布斯堡家族失去祖先建立的鹰堡。自此，哈布斯堡王朝的基地正式由瑞士北部的鹰堡，转移到奥地利的维也纳，因此哈布斯堡家族也被称爲「奥地利