祖父菲利普是当时符腾堡的王位推定继承人（直到1917年去世），菲利普·阿尔布雷希特的外祖父则是奥匈帝国皇帝法兰兹·约瑟夫一世的弟弟卡尔·路德维希。菲利普·阿尔布雷希特于青年时代曾就读于斯图加特和蒂宾根，直到1912年菲利普·阿尔布雷希特参军并成为一名少尉。在一战期间，菲利普·阿尔布雷希特曾先后在东部前线、西部前线和塞尔维亚作战。十一月革命爆发后，他仍服役于军队并成了一名少校，而此时德国君主制被废除。
家庭.1923年10月24日，菲利普·阿尔布雷希特与奥地利-托斯卡纳的结婚。海