布雷希特是巴伐利亚末代王储鲁普雷希特与巴伐利亚郡主玛利亚·加布里埃拉的次子，也是这次婚姻下唯一长大的孩子。1905年生于慕尼黑。他的祖父路德维希三世于1913年成为国王，父亲成为王储。第二年长兄柳特波德去世，他成为王位第二顺位继承人。但由于1918年巴伐利亚王国君主制被推翻，他失去了继承王位的机会。一战后，阿尔布雷希特随家人流亡蒂罗尔，不久重回慕尼黑，居住在贝尔希特斯加登城堡（"Schloß Berchtesgaden"），在慕尼黑大学学习林业。1930年在贝尔希特斯加登教堂与奥地利贵族德拉什科维奇·冯