Ernst von Wildenbruch war der Sohn des preußischen Generalkonsuls in Beirut und späteren preußischen Generalleutnants Louis von Wildenbruch (1803–1874), der ein illegitimer Spross des Prinzen Louis Ferdinand von Preußen aus einer seit 1800 andauernden Liaison mit Henriette Fromme (* 12. Februar 1783 in Berlin; † 1828 in Königsberg) war. Die Kinder dieser Liaison, Sohn Louis und Tochter Blanka, wurden am 3. März 1810 durch König Friedrich Wilhelm III. unter dem Namen von Wildenbruch in den preußischen Adelsstand erhoben. Louis von Wildenbruch wuchs als Pflegesohn seines Onkels, des Fürsten Anton Radziwiłł (1775–1832) und dessen Gemahlin, Prinzessin Luise von Preußen (1770–1836), die eine Schwester des 1806 vor Saalfeld gefallenen Prinzen Louis Ferdinand war, auf. Im Radziwiłłschen Haus lernte Louis von Wildenbruch die Hofdame seiner Pflegemutter, Ernestine von Langen, kennen, die er am 9. August 1837 heiratete. Aus dieser Ehe gingen Ernst und fünf weitere Geschwister hervor: