ジェイムズ・ダフ (第4代ファイフ伯爵)
第3代ファイフ伯爵とメアリ・スキーン(Mary Skene、ジョージ・スキーンの長女)との長男として生まれた。弟に第5代ファイフ伯爵の父親アレグザンダー・ダフがいる。ロンドンの名門パブリックスクールウェストミンスター・スクールに学んだのち、オックスフォード大学に進学、卒業した。
1799年9月9日に、ロンドンでマリア・カロライン・マナーズ(Lady Maria Caroline Manners、1775年 - 1805年、ジョン・マナーズ(英語版)とその妻の第7代ディザート女伯爵ルイーザ・トルマッシュ(英語版)との三女)と結婚した。
半島戦争では義勇兵としてナポレオン軍との戦いに身を投じた。タラベラの戦い(英語版)で負傷したのち、カディス包囲戦(英語版)時のマタゴーダ砦攻撃の最中に再び重傷を負った。本国に帰還後、従軍時の功績によりスペインの聖ファーディナンド勲章(英語版)を授与されたほか、スウェーデンの勲位(瑞:Svärdsorden (en) )も与えられた。