姻不符合巴伐利亚王室法律，1941年鲁普雷希特修改了王室继承法，将此次婚姻合法化。夫妻二人居住在克洛伊特温泉浴场，婚后有二子二女。1939年，阿尔布雷希特及全家因逃避纳粹政权的迫害而被迫流亡，定居匈牙利。1944年10月，德军占领匈牙利，他和家人被盖世太保抓获，拘于萨克森豪森集中营。1945年被转移到达豪集中营，在那里被美军释放。二战后，阿尔布雷希特重建了施塔恩贝格湖畔的贝尔格城堡（"Schloß Berg"）并居住在这里。1955年8月2日，父亲鲁普雷希特去世，他成为巴伐利亚王室首领，称巴伐利亚公