Felipe era hijo de Simón Kárason (fallecido en 1190) y de Margarita Arnadatter.