Er trat im Juli 1788 in die British Army ein, indem er sich eine Offiziersstelle als Ensign kaufte, wie es damals üblich war. Später wurde er Captain einer von ihm selbst aufgestellten selbständigen Kompanie. 1791 schloss er sich dem 2. Battalion des 1st Regiment of Foot an, wechselte jedoch schon im nächsten Jahr in das 2nd Regiment of Foot, in der eine Stelle als Major kaufte. Als dessen Kommandeur wurde er mit dem Regiment nach Martinique verlegt. Im August 1794 wurde er zum Lieutenant-Colonel befördert, bevor er 1795 schwer verwundet wurde und nach England zurückkehrte. Ramsay kämpfte in der Irischen Rebellion von 1798 und im darauffolgenden Jahr in Nordholland gegen die Franzosen. Im Januar 1800 erhielt er den Brevet-Rang eines Colonel und wurde 1801 im Ägyptenfeldzug unter Ralph Abercromby eingesetzt. 1803 diente er als Brigadier-General in Schottland, bevor er im April 1805 zum Major-General befördert wurde.