Etter at korsfarerne var blitt beseiret og måtte trekke seg tilbake fra Egypt i september 1221, forble Oliver inntil september eller oktober 1222 i Akko. Fra denne periode er to brev fra ham blitt bevart, det ene til sultan al-Kamil av Egypt, det annet til de lokale islamske lærde, hvor han forsøker i tidens polemiske stil å overbevise dem om den muslimske tros avskyelighet og akseptere kristendommen.