Несмотря на то, что Оливье обрёл большой почет и славу, а также вернул свои земли, его не прельщала спокойная жизнь южнофранцузского землевладельца. Большую часть жизни он провёл в военных походах и не мыслил для себя другой жизни. Уже в преклонных годах он вновь отправился в крестовый поход, присоединившись к Людовику IX в Тунисе (1270), затем вернулся на Святую Землю во главе нового контингента (1274). Он умер там 12 августа 1274. Останки Оливье, если он не был похоронен в Святой Земле, возможно, находятся в Фонфруаде, в часовне Св. Бернара, которую он построил.