然阿尔布雷希特的次子腓特烈曾被选举为对立国王，并与巴伐利亚的路德维希四世共治，然而其后的100年间哈布斯堡家族的势力开始退缩到以奥地利爲主的家族领地，并把南阿尔萨斯、布赖施高（Breisgau）和帝国内的其他一些领地陆续划入治下。14世纪期间，新成立的瑞士联邦不断向德国南部扩张，导致哈布斯堡家族失去祖先建立的鹰堡。自此，哈布斯堡王朝的基地正式由瑞士北部的鹰堡，转移到奥地利的维也纳，因此哈布斯堡家族也被称爲「奥地利家族」。
发展鼎盛.
奥地利公国.哈布斯堡家族在