Der Sohn des Juristen und Stadtrats Hermann von Frankenberg und Ludwigsdorf entstammte einer alten schlesischen Familie. Sein Urgroßvater Wilhelm von Frankenberg schloss sich im Jahre 1809 Herzog Friedrich Wilhelm von Braunschweig-Lüneburg-Oels in seinem Kampf gegen Napoleon an und wurde Offizier in der sogenannten „Schwarzen Schar“. 1815 wurde von Frankenberg in Quatrebras verwundet und siedelte sich danach im Braunschweigischen an.