Drummond nació en el Castillo de Hawthornden, Midlothian, hijo de John Drummond, el primer lord del Hawthornden, y Susannah Fowler, hermana del poeta y cortesano William Fowler.