Så snart han var blitt konge sendte han onkelen for å forhandle med emiren av Tunisia for å få avsluttet korstoget, mens han selv vendte tilbake til Frankrike. Hans onkel, Alfons, greve av Poitou, Toulouse og Auvergne, døde i Italia på vei hjem fra korstoget. Filip arvet hans land og la det inn under kronen, bortsett fra området Venaissin ved Avignon som tilfalt paven. I Amiens-traktaten av 1279 måtte han avstå området Agenais til Edvard I av England. I 1284 arvet Filip grevskapene Perche og Alençon etter broren Pierre.