Felipe era uno de los tres hijos de Guido de Milly, de quien heredó varios feudos en Samaria alrededor de la ciudad de Nablus.