Alderson war der Sohn eines Berufsoffiziers der British Army. Er besuchte die Ipswich School und trat 1876 als 17-Jähriger in einer Miliz-Artillerieeinheit ein. Zwei Jahre später wechselte er ins Regiment seines Vaters, das "Queen’s Own Royal West Kent Regiment". Mit diesem diente er in Nova Scotia, Gibraltar und schließlich in der Kolonie Natal im südlichen Afrika. Er wurde hier zum Depot "Laing’s Nek" der berittenen Infanterie detachiert. Er diente im Ersten Burenkrieg von 1881, im Krieg gegen Ägypten von 1882 und später im Sudan, wo er im "Mounted Camel Regiment" an der Gordon Relief Expedition von 1884/85 teilnahm.