Harald Grieg ble født i Bergen 3. august 1894 og vokste opp der. Han var sønn av skolemann Peter Lexau Grieg og bror til forfatterne Nordahl Grieg, Ingeborg Rolfsen Grieg (kjent under pseudonymet Sissel Aas) og Johanne Grieg Cederblad. Johan Nordahl Brun og Jens Rolfsen var blant deres forfedre. Nordahl Rolfsen var hans grandonkel. Morfaren Ole Vollan var teolog og en ledende person i Moderate Venstre. Harald Grieg var fetter av Harald Ulrik Sverdrup, Mimi Sverdrup Lunden, Einar Sverdrup og Leif Sverdrup. Edvard Grieg var en fjernere slektning (tremenning av Harald Griegs bestefar); på reiser i utlandet skjedde en språklig forvirring og Harald Grieg ble til dels omtalt som Edvard Griegs nevø eller sønn.