Hun var datter av Vilhelm I av Hainaut og Johanna av Valois som var et barnebarn av Filip III av Frankrike. Philippa tilbrakte sine første år ved hoffet i Hainault, kjent for sin litterære, franskspråklige kultur, og hun utviklet her sine litterære smak og interesse for lærdom.