Hijo de Ermesenda de Corsavy y Raymond III de Termes, señor del castillo de Termes, Olivier nació en el seno de este noble linaje de las Corbières, en una familia convertida a la doctrina cátara, hacia el año 1200.