Ernst Hanfstaengl hadde tysk far og amerikansk mor. Han hadde en bakgrunn fra innflytelsesrike kretser, blant annet var Ernst II av Sachsen-Coburg-Gotha hans gudfar. Etter studenteksamen flyttet Hanfstaengl med sin familie til USA. Her gikk han på Harvard-universitetet, hvor han blant andre ble kjent med Walter Lippmann og den senere journalisten, poeten og kommunisten John Reed. Han hadde musikalsk talent og komponerte en rekke nye sanger for universitetets fotballag. Han tok eksamen fra Harvard i 1909.