Nach dem Schulbesuch trat Abercrombie in die US Military Academy in West Point ein und schloss diese 1822 ab. Nachdem er zwischen 1825 und 1833 Adjutant des 1. Infanterieregiments war, wurde er 1836 zum Hauptmann befördert. Im Anschluss diente er während des zweiten Seminolenkrieges von 1836 bis 1842 und erhielt für seine Tapferkeit während der Schlacht von Okeechobee den Brevet-Rang eines Majors. Nach einer Verwendung im Westen der USA diente er auch im Mexikanisch-Amerikanischen Krieg von 1846 bis 1848. Während der dortigen Schlacht von Monterrey erlitt er im September 1846 eine Verwundung und wurde für seine Tapferkeit mit dem Brevet-Rang eines Oberstleutnants ausgezeichnet. Danach nahm er an der Belagerung von Veracruz sowie an der Schlacht von Cerro Gordo teil und wurde danach 1847 Aide-de-camp von General Robert Patterson. 1858 gründete er das nach ihm benannte Fort Abercrombie im damaligen Dakota-Territorium.