Spencer si unì alla Royal Navy come guardiamarina il 18 settembre 1811 e combatté nelle guerre napoleoniche nel Mediterraneo tra il 1811 e il 1815. Per un certo periodo prestò servizio sotto il fratello, il capitano Robert Cavendish Spencer come tenente a bordo della sua nave HMS Owen Glendower, prima di ricevere il suo comando, quello del brigantino HMS Alacrity nella South America Station. Fu promosso al grado di capitano il 26 agosto 1822. Durante la Guerra d'indipendenza greca comandò l' HMS Talbot nella battaglia di Navarino il 20 ottobre 1827. L'anno seguente combatté con la Brigata Navale nella Campagna di Morea.