父第一代达夫-戈登从男爵詹姆斯（Sir James Duff, 1st Baronet），以表彰他在半岛战争期间对英国皇室的援助。1772年，他的家人在西班牙创立了达夫-戈登雪利酒酒庄，该酒庄生产高品质的葡萄酒。1900年，科斯莫·达夫-戈登爵士与着名的伦敦时装设计师「」结婚。科斯莫·达夫-戈登爵士成为着名的击剑运动员，在1906年雅典届间运动会中代表英国参赛，在重剑项目比赛中获得银牌。在科斯莫·达夫-戈登爵士和他的德国对手卡西米尔先生（Herr G. Casimir）最后一轮比赛中，英国国王爱德华七世和亚