John Abercromby var sønn av George Abercromby, 3. baron Abercromby, og hans hustru Louisa, født Forbes. Han ble løytnant i Rifle Brigade, og studerte ved University of Edinburgh hvor han fikk et æresdoktorat i jus (LLD).