Герцог Филипп добивался руки принцессы Софии Баварской, младшей сестры императрицы Австрийской Елизаветы. Получив отказ, в 1865 году Филипп женился на эрцгерцогине Марии Терезии Австрийской. В Вене супруги проживали в течение нескольких лет в построенном для них дворце на Рингштрассе, но затем продали его и поселились в Штрудельхофе. Дворец к Всемирной выставке 1873 года был переоборудован под отель и носит имя «Империал». Герцог любил охоту и занимался фотографией.