À partir de 1257, Olivier est travaillé par le salut de son âme et décide de se mettre au service de Dieu. En quelques années il liquide sa seigneurie dont le château d'Aguilar qu'il avait fait construire, pour distribuer des dons considérables à l'abbaye de Fontfroide et à d'autres établissements religieux, et pour financer une expédition militaire en Terre Sainte. Il y retourne en 1264 à la tête d'un contingent royal, puis devient en 1269 sénéchal du royaume de Jérusalem, c'est-à-dire chef des armées de Terre Sainte où il mène une lutte active contre les musulmans. Il participe à la Huitième croisade en rejoignant Louis IX à Tunis (1270) puis repart en Terre Sainte à la tête d'un nouveau contingent soldé par le pape et le roi (1274). Il y meurt le . Olivier, s'il n'a pas été enterré en Terre Sainte, repose peut-être à Fontfroide, contre la chapelle Saint-Bernard qu'il avait fait construire.