ホレス・ド・ヴィアー・コール
コールは10歳の時にジフテリアに罹患し、聴覚に深刻な障害を負ったことが、その後の人生に影響を与えた。その数年後、イートン・カレッジに入学した。
第二次ボーア戦争(英語版)中にヨークシャー軽騎兵連隊(英語版)の中尉として徴用され、すぐに大尉代理に昇進した。1900年7月2日にダムダム弾(英語版)で負傷し、その年の9月までクロンスタッド(英語版)の赤十字病院で療養した。退院後に陸軍から除隊され、障害年金を現金化して得た1800ポンドを戦時中の未亡人や孤児のための基金に寄付した。
1902年にケンブリッジ大学のトリニティ・カレッジに進学したが、学位は取得できなかった。
1906年に父方の祖母ジェーンが亡くなると、コールはバークシャー南部、ウェスト・ワディ(英語版)のウェスト・ワディ・ハウス(英語版)などの遺産を相続した。しかし、コールにはそれを維持管理をする余裕はなく、1912年に叔父のアルフレッド・クレイトン・コール(英語版)(後のイングランド銀行総裁)に売却した。
コールの父のウィリアム・ウッティング・コール(William Utting Cole)はイギリス陸軍士官で、第3近衛竜騎兵隊(英語版)の少佐だったが、ホレスが幼い頃にインドにおいてコレラで亡くなっている。父方の祖父はキニーネの取引で財を成した。
母のメアリー・ド・ヴィアーは、国会議員の準男爵ステファン・ド・ヴィアー(英語版)の姪であり、その相続人だった。ホレスは、アングロ・アイルランドの詩人オーブリー・ド・ヴィアー(英語版)の大甥に当たる。母方の一族は元は「ハント」(Hunt)という家名だったが、準男爵(英語版)に叙せられた後にオックスフォード伯爵ド・ヴィアー家(英語版)との親族関係を主張してド・ヴィアーに家名を変更し、ド・ヴィアー家が世襲していたイングランドの式部卿の地位に就く権利を要求していた。
妹のアニー・コール(英語版)は、ネヴィル・チェンバレン首相の妻。