Felipe era el quinto y último hijo del emperador Federico I Barbarroja y de Beatriz de Borgoña, hija del conde Reginaldo III de Borgoña, y hermano del emperador Enrique VI.