ジェームズ・スコット
第5代オックスフォード＝モーティマー伯爵エドワード・ハーレーと（ジェームズ・スコットの娘）の次男（長男は早世）として生まれた。1828年に兄エドワードが死去すると、ハーレー卿の儀礼称号を使用した。1848年に父が死去すると、爵位との領地を継承した。母が不倫を繰り返したため、アルフレッドは本当の父が第5代オックスフォード＝モーティマー伯爵ではないと度々噂され、兄弟たちとともに「ハーレーの寄せ集め」（）とあだ名された。