Gyermekkorát Coburgban töltötte, hamar érdeklődni kezdett a katonaság iránt. Az 1850-es években családja Bécsbe költözött, a nyarakat terjedelmes magyarországi birtokain töltötte. Fülöp herceg Bonnban végzett tanulmányai befejeztével beállt az osztrák hadsereg lovasságába és vértestisztként szolgált Győrben, Siófokon és Székesfehérváron. 1866-ban részt vett a königgratzi csatában, ahol egy golyó átfúrta a sisakját. 1868-ban testvérével, Ludwig August herceggel Braziliába utazott, majd járt Kaliforniában, az Egyesült Államokban és Kanadában. Utazásáról sógorának, József főhercegnek sok, Európában akkor még ismeretlen növényt hozott, melyeket az alcsúti arborétumba helyeztek el. Miután Amerikából hazatért, kisebb utazásokat tett Európában is, még és Izlandra is eljutott. 1872-ben testvérével Föld körüli utazást tett. Szenvedélyes numizmatikus is volt, jelentős gyűjteménnyel rendelkezett és szakcikkeket írt.