エディンバラ城
第3代パース伯爵ジェームズ・ドラモンドと、その妻で第2代ハントリー侯爵の娘であるレディ・アン・ゴードンの間の下の息子として生まれた。軍隊に入隊し、1673年にスコットランド近衛歩兵連隊の大尉となった。1679年にエディンバラ城の総督、1680年にはさらにとなった。