Goeben besuchte das Gymnasium in Celle und trat am 1. Oktober 1834 als Kadett in das 3. Linienbataillon der Hannoverschen Armee ein. Am 1. Juli 1836 erhielt er den Titel als Sekondeleutnant und am 16. März 1838 avancierte er zum Sekondeleutnant im mittlerweile zum Regiment formierte Verband. Als Premierleutnant nahm Goeben 1848 während des Feldzuges gegen Dänemark an den Gefechten bei Bilschau und Oeversee teil. Mitte Mai 1853 wurde er Hauptmann und Ende Mai 1855 als Kompaniechef in das 4. Infanterie-Regiment versetzt. Am 22. Mai 1860 stieg Goeben zum Major im 2. leichten Bataillon auf und erhielt ein Jahr später das Kommando über das II. Bataillon im 4. Infanterie-Regiment, mit dem er während des Krieges gegen Dänemark 1864 zum Küstenschutz nach Bremerhaven abkommandiert war. Als Oberstleutnant und Bataillonskommandeur im 6. Infanterie-Regiment nahm er 1866 während des Krieges gegen Preußen an der Schlacht bei Langensalza teil. Nach dem verlorenen Krieg und der Annexion des Königreichs Hannover nahm Goeben am 3. Januar 1867 seinen Abschied.