東郷は英国留学の際にゴルフを覚えたと思われ、「昭和天皇実録」の大正末期から昭和初期の記録を見ると、西園寺(西園寺八郎か)や甘露寺(甘露寺受長か)らとともに昭和天皇のゴルフのお相手を務めていることが分かる。