Im Jahr 1247 beschloss er jedoch, seinen Frieden mit der Kirche zu machen und schloss sich zur Buße dem Kreuzfahrerheer Ludwigs des Heiligen beim sechsten Kreuzzug an. Er nahm an den Kämpfen vor der Festungsstadt Damiette und deren Erstürmung teil und wurde zum Befehlshaber der Artillerie ("maître des arbalétriers") ernannt. Das Scheitern des Kreuzzuges vor den Mauern der Festung al-Mansura und der Gefangennahme des Königs erlebte er von Damiette aus. Nach der Freilassung des Königs begab sich Olivier mit ihm nach Akkon, wo er an mehreren Kämpfen gegen lokale Fürsten teilnahm. So auch 1253 vor Banyas, wo er dem späteren Chronisten Jean de Joinville das Leben rettete.