Спенсер стал офицером в 1778 году. Он доблестно сражался в Вест-Индии в 1779—1782 годах во время американской войны за независимость и снова в 1790—1794 годах во время войны первой коалиции. Повышен в звании до бригадного генерала, участвовал в неудачной кампании в Санто-Доминго в 1797 году против Туссен-Лувертюра. В 1799 году он руководил 40-м пехотным полком во время англо-русского вторжения в Голландию. Эта кампания включала в себя сражения за Берген и Кастрикум.