Оливье родился около 1200 года в богатой и влиятельной семье Раймунда де Терма, исповедывавшей катарство. Его отец владел и 60 прилегающими к нему богатыми деревнями. Взросление Оливье пришлось на сложные годы альбигойского крестового похода: в 1210 году, после взятия замка Терм Симоном де Монфором, он потерял отца, но мог какое-то время наблюдать его осадные и партизанские методы, в которых станет великим специалистом. Он закончил своё образование в Каталонии, куда бежал вместе с братом и сёстрами и где его мать Эрмессенда вышла замуж второй раз. Именно там он встретил своих будущих сеньоров, которым будет служить, для которых станет другом и помощником: Хайме I Арагонского , Раймунда Тулузского, сопровождавшего в изгнании своего отца Раймунд VI, и Раймунда II Транкавеля. Все четверо, из одного поколения, были жертвами крестового похода и мотивированы духом реванша.