El 1270 va prendre part al fracàs de la Vuitena Croada, unint-se a les hosts de Lluís IX a Tunis, des d'on va partir novament el 1274 cap a Terra Santa al capdavant d'un nou contingent saldat pel Papa i el rei. A Terra Santa hi va morir el 12 d'agost de 1274. Oliver de Tèrme, si no fou enterrat a Terra Santa, potser les seves despulles descansen a l'abadia Fontfreda, a la capella de Sant Bernat que va fer construir.