Pocházel z irského šlechtického rodu, byl pravnukem admirála Matthewa Aylmera, narodil se jako mladší syn 4. barona Aylmera, po matce Catherine Whitworth byl synovcem diplomata a irského místokrále hraběte Whitwortha. Ve třinácti letech vstoupil do Royal Navy, zúčastnil se válek s revoluční Francií a již v osmnácti letech byl poručíkem. V roce 1798 byl zraněn v bitvě na Nilu, ze zranění se zotavoval v Anglii do roku 1802, poté se aktivně zapojil do napoleonských válek, sloužil ve Středomoří a v Lamanšském průlivu. Významnou úlohu sehrál u břehů jižní Francie za Napoleonova stodenního císařství. V roce 1816 se zúčastnil bombardování Alžíru, které definitivně skoncovalo s piráty u břehů severní Afriky. V návaznosti na to obdržel Řád lázně (1816) a španělský Řád sv. Ferdinanda (1816).