Nach dem Tod des jungen Graf Bonifaz von Savoyen 1263 trat Philipps Bruder Peter die Herrschaft in der Grafschaft an. Da der etwa sechzigjährige Peter bislang nur eine Tochter hatte, ernannte er 1264 Philipp zu seinem nächsten Erben. Auch Erzbischof Bonifatius von Canterbury ernannte Philipp zum Erben seiner Besitzungen in Savoyen. Aufgrund dieser absehbaren Erbfolgen begann Philipp, nach und nach seine geistlichen Ämter niederzulegen. Möglicherweise nahm er von 1265 bis 1266 am Feldzug von Karl von Anjou zur Eroberung von Sizilien teil. Vielleicht war er aber auch bei der Kurie in Rom, wo er angeblich im Streit mit Papst Clemens IV. auf seine geistlichen Ämter verzichtete. Im April 1266 versuchte er noch, einen Streit zwischen dem Dauphin von Viennois und dem Kathedralkapitel von Lyon um den Besitz von Annonay zu schlichten. Kurz darauf starb Erzbischof Jean de Bernin von Vienne. Als Dekan des Kathedralkapitels von Vienne bekam Philipp eine führende Rolle bei der Wahl eines neuen Erzbischofs. Er konnte so die Wahl von Guy d’Auvergne, einem Sohn von Graf Wilhelm X. von Auvergne und Mitglied des Kathedralkapitels von Lyon durchsetzen, obwohl dieser noch nicht das kanonisch vorgeschriebene Alter erreicht hatte. Im Juli 1266 bestätigte der Papst, dass Philipp sein Amt als Bischof von Valence niedergelegt hatte. Am 24. Februar 1267 wurden die Abrechnungen von Philipp als Bischof von Valence überprüft. Dabei wurde deutlich, dass er bis auf eine geringe Restschuld die erheblichen Schulden der Diözese, die er bei seinem Amtsantritt übernommen hatte, getilgt hatte. Dann legte er im Mai 1267 auf Drängen von Papst Clemens IV. sein Amt als Erzbischof von Lyon nieder.