Né à Paris le , Harry est le fils d'Alice Blosse-Lynch (1844-1919), fille d'un officier britannique d'origine irlandaise, commandant de la flotte anglo-indienne basée à Bombay, et du banquier d'affaires allemand Adolf Wilhelm Kessler (1838-1895), établi à Paris et directeur d'une succursale de la société Auffm-Ordt basée à Hambourg. Le couple s'était formé à Boulogne-sur-Mer, lors d'une villégiature, et le mariage eut lieu en 1867. Harry est donc issu d'un milieu aisé, cosmopolite et polyglotte ; leurs affaires les mènent entre Paris, Londres et Hambourg. L'amour des arts et des lettres chez Harry lui vient de sa mère : elle écrit d'ailleurs des romans sous pseudonyme, et donne de petits spectacles privés dans leur hôtel particulier parisien (détruit), situé cours la Reine ( arrondissement). En 1867, lors de l'exposition universelle à Paris, le roi Guillaume de Prusse lui rend visite et une amitié solide prend forme qui vaudra à Adolf Wilhelm d'être fait comte héréditaire ("Graf") en 1879. L'empereur Guillaume sera aussi le parrain de la petite sœur d'Harry, Wilma (1877-1963), née à Londres, qui épousa Christian de Michel du Roc de Brion.