Filippus' onkel Nikolas Arnesson var en av dem som var med å stifte baglerpartiet i 1196. Etter den første baglerkongen Inge Magnussons død i 1204, ville Nikolas at nevøen skulle bli konge, og han fikk danekongen Valdemar II til å støtte ham. Baglerhæren ville imidlertid ha Erling Steinvegg, en påstått sønn av kong Magnus Erlingsson, til konge, og Nikolas måtte gi seg. Filippus ble i stedet jarl.