Nel 1801 fu a Ferrol e in Egitto con Sir Ralph Abercromby. Ritornò in patria dopo la capitolazione francese in Egitto (agosto 1801). Ritornò nel Mediterraneo nell'aprile 1805 con le truppe britanniche spedite in Sicilia nell'ambito della Terza coalizione. Partecipò alla spedizione in Calabria e alla vittoriosa Battaglia di Maida (4 luglio 1806); in quest'occasione ricevette un encomio solenne dal generale Stuart. Poco dopo fu promosso capitano dei Cacciatori corsi ("Royal Corsican Rangers") alla testa dei quali nell'ottobre 1806 partecipò alla presa di Capri. Rimase nel fortino di Anacapri per due anni, fino al 4 ottobre 1808, quando le truppe di Murat attaccarono l'isola; la guarnigione di Church riuscì a sfuggire alla cattura e a rifugiarsi in Sicilia, dove Church divenne aiuto quartiermastro generale di Sir Henry Bunbury.