Leta 1267 se je Filip moral dokončno odpovedati naslovu salzburškega nadškofa. Leta 1269 je bil izvoljen za Oglejskega patriarha, a ni nikoli prejel papeške potrditve. Oktobra 1269 je umrl njegov brat Ulrika III., ki je v tajnem dogovoru na gradu Podiebrad leta 1268 Vojvodino Koroško zapustil češkemu kralju Otokarju II. s podporo Güssinških grofov. Otokar je Filipa izgnal iz Koroške in njegovih posesti. Filip se je v letih 1270/71 prizadeval pridobiti Koroško a je bil izgnan tudi iz Furlanije. Leta 1272 se je Filip moral sprijazniti s porazom. Ponovno je poskušal pridobiti naslov grofa Lebenauskega. Novi kralj Nemčije Rudolf I. Filipa nominalno imenoval za vojvodo na Koroškem, Kranjskem Slovenski marki, vendar dejansko do tega ni prišlo. Otokar ni imel namena da te Filipove in Rudolfove zahteve prizna vse do njegovega dokončnega poraza leta 1278 na bojnem polju v bitki na Moravskem polju. Filip je vse do svoje smrti moral ostati v Vojvodini Avstriji in se ni nikoli več vrnil na Koroško.