Philipp von Bismarck var annen sønn av Gottfried von Bismarck (1881–1928), herre til Jarchlin og Kniephof. Etter farens tidlige død ble han i 1939 adoptert av sin grandonkel Bernhard von Bismarck og dennes kone Käthe, født von Arnim. Han tjenestegjorde som løytnant og bataljonsadjunkt i infanteriregiment nr. 9 under andre verdenskrig. Samtidig var han stedfortredende sekretær for den bismarckske familieforening.