Er war der dritte Sohn des George Abercromby († 1800), Gutsherr von Tullibody, aus dessen Ehe mit Mary Dundas. Sein ältester Bruder war der General Sir Ralph Abercromby. 1758 trat er als Ensign des "44th Regiment of Foot" in die British Army ein. Er kämpfte im Indianer- und Franzosenkrieg und wurde 1758 zum Lieutenant und 1761 zum Captain befördert, bevor er bei Kriegsende 1763 unter Halbsold vom Dienst freigestellt wurde. 1772 wurde er reaktiviert und zum Major des "62nd Regiment of Foot" befördert. 1775 wurde er Lieutenant-Colonel des "37th Regiment of Foot" und nahm mit diesem am Amerikanischen Unabhängigkeitskrieg teil, in dessen Verlauf er 1781 zum Colonel sowie zum Aide-de-camp König Georgs III. befördert wurde. 1787 stellte er das "74th (Highland) Regiment of Foot" auf, dessen Colonel er wurde und mit dem er im Dienst der Britische Ostindien-Kompanie am Dritten Mysore-Krieg teilnahm. 1790 zum Major-General befördert war er in Britisch-Indien von 1790 bis 1792 Gouverneur von Bombay und Oberbefehlshaber der Bombay Army. Von 1793 bis 1797 war er als Oberbefehlshaber in Indien Kommandeur der britischen Armee in Indien. Aufgrund einer Augenerkrankung kehrte er im April 1797 nach Großbritannien zurück. Im selben Jahr wurde er zum Lieutenant-General befördert. 1798 wurde er als Abgeordneter für Clackmannanshire ins britische House of Commons gewählt und hatte dieses Mandat bis 1802 inne. Von 1801 bis zu seinem Tod war er Gouverneur von Edinburgh Castle. 1802 wurde er zum General befördert.