1933年出生于慕尼黑大学医院，巴伐利亚王位继承人阿尔布雷希特与第一任妻子玛利亚·德拉什科维奇·冯·特拉科什干的长子，巴伐利亚末王路德维希三世的曾孙。他出生时并没有得到“巴伐利亚王子”的头衔，因为他父母的婚姻不符合巴伐利亚王室法律，1941年他的祖父鲁普雷希特修改了王室继承法，将此次婚姻合法化，他才得到“巴伐利亚王子”的称号。1939年，弗朗茨跟随父母因逃避纳粹政权的迫害而流亡，定居匈牙利。1944年10月，德军占领匈牙利，他和家人被盖世太保抓获，拘于萨克森豪森集中营。1945年被转移到达豪集中营，在那