Drummond był członkiem rodziny, która posiadała i zarządzała „Drummonds Bank”. Był prawnukiem Williama Drummonda, 4. wicehrabiego Strathallan, który zginął walcząc o sprawę jakobicką w bitwie pod Culloden w 1746 r. Jego rodzicami byli Charles Drummond, bankier i jego żona, Frances Dorothy (druga córka Wielebnego Edwarda Lockwooda). Był jednym z dziewięciorga dzieci, z których tylko pięcioro dożyło dorosłości. Jego siostra Charlotte nie wyszła za mąż i dzieliła z nim dom na Lower Grosvenor Street. Jego starszy brat Charles został bankierem, młodszy brat Berkeley wstąpił do wojska, a młodszy brat Artur został duchownym. Drummond dołączył do służby cywilnej w czerwcu 1814 r., stając się urzędnikiem skarbowym. Następnie został prywatnym sekretarzem kolejnych premierów Wielkiej Brytanii: George Canninga, Lorda Goderich, 1. księcia Wellington i Roberta Peela.