ハリー・ハーグ・ジェイムスは1916年3月15日、アメリカ合衆国のジョージア州オールバニにて、サーカス団「マイティ・ハーグ・サーカス」のバンドリーダーでトランペット奏者である父、エヴェレット・ロバート・ジェイムスと、同じ団員で空中曲芸師の母、メイベル・スチュワート・クラーク・ジェイムスとの間に生まれた。