Ernst Ludvig fikk i sin barndom oppleve at mange som stod ham nær døde. I en alder av fem døde hans yngre bror, Friedrich. De to guttene hadde lekt på morens soverom da Friedrich falt ut av et åpent vindu og ned på en balkong seks meter under. Først virka det som om han bare hadde blitt litt småskada, men han led av hemofili og begynte å få hjerneblødning. Han falt inn i bevisstløshet samme dag og døde. Ernst Ludvig virka utrøstelig, brorens død gikk hardt inn på ham.