Am 15. Juni 1863 trat Arnim in die Preußische Marine ein. Auf den Schiffen "Niobe", "Nymphe" und "Arcona" erhielt Arnim als Seekadett seine erste Ausbildung und nahm im Dänischen Krieg an dem Gefecht bei Rügen teil. Im &lt;a href="Deutsch-Franz%C3%B6sischer%20Krieg"&gt;Kriegsjahr 1870/71&lt;/a&gt; erhielt er das Kommando über ein französisches Kanonenboot auf der Seine. 1875 wurde er zum Kapitänleutnant befördert. Im Jahr 1889 wurde er zum Kommandanten der Kaiserlichen Yacht "Hohenzollern" ernannt. Im Herbst 1899 wurde ihm die Inspektion des Bildungswesens der Marine übertragen. In dieser Stellung wurde er 1901 zum Vizeadmiral sowie 1905 zum Admiral befördert. Am 17. September 1907 wurde Armin zur Disposition und gleichzeitig à la suite des Seeoffizierskorps gestellt.