El 17 de enero de 1166, Felipe se unió a la orden militar de los Caballeros Templarios, pasando a ella una parte significativa de su feudo incluyendo el castillo de Ahamant, ya que estaba prohibido por los estatutos de la orden para sus miembros, incluyendo los Grandes maestres, poseer tierras individualmente.