Der Flügeladjutant Linckersdorff holte Holleben in preußische Dienste und stellte ihn am 7. Mai 1767 König Friedrich II. vor. Der nahm ihn am 2. August 1768 in seine Garde auf, wo Holleben bis Frühjahr seinen Dienst versah. Aber erst am 1. April 1771 wurde er als Kapitän und Kompaniechef im Infanterieregiment „von Tettenborn“ in der Preußischen Armee angestellt. Als solcher nahm er 1778/79 am Bayerischen Erbfolgekrieg teil. Am 5. Oktober 1784 avancierte Holleben zum Major und am 3. Oktober 1785 zum Bataillonskommandeur. Er wurde am 23. Mai 1792 Oberstleutnant und am 10. Januar 1794 Oberst. Während des Feldzuges in Polen kämpfte Holleben 1794/95 im Gefecht bei Gawisky. Am 22. März 1798 wurde er zum Regimentskommandeur ernannt. Holleben erhielt am 25. März 1799 seine Demission als Generalmajor mit einer Pension von 800 Talern. Dazu erhielt er am 9. April 1799 die Erlaubnis die Uniform seines alten Regiments tragen zu dürfen. Nach dem Zusammenbruch Preußens 1806 wollte er sich freiwillig melden, wurde aber wegen seines Alters abgelehnt. Er starb am 6. Juli 1808 in Königsberg.