Tras estudiar en el Colegio Eton, en 1900 Drummond inició su carrera en el ministerio de asuntos exteriores de Gran Bretaña (el "Foreign Office"), trabajando principalmente en el despacho ministerial, siendo en 1916 secretario privado del ministro británico Arthur Balfour. En esa condición acude a la Conferencia de Paz de París en 1919 donde los vencedores de la Primera Guerra Mundial acuerdan la constitución de la Sociedad de Naciones.