Grüter besuchte die Kadettenhäuser in Potsdam und Berlin. Anschließend trat er am 18. August 1836 als Sekondeleutnant in das 8. Husaren-Regiment der Preußischen Armee ein. Zur weiteren Ausbildung absolvierte er ab Oktober 1839 für drei Jahre die Allgemeine Kriegsschule. Vom 10. August 1843 bis zum 12. Mai 1844 sowie vom 2. Juli bis zum 18. August 1845 war er als Vertretung des Adjutanten der 14. Kavallerie-Brigade eingesetzt. Vom 1. Oktober 1845 bis zum 30. September 1847 wurde er dann in das Lehreskadron abkommandiert. Nach seiner Rückkehr wurde er am 1. April 1848 beurlaubt, um sich der schleswig-holsteinischen Armee im Kampf gegen Dänemark anzuschließen. Am 8. April 1848 wurde er Premier-Lieutenant und auch Adjutant der schleswig-holsteinischen Kavallerie-Brigade. Schon am 13. Oktober 1848 wurde er zum Rittmeister befördert und zeitgleich als Eskadronschef in das holsteinische 2. Dragoner-Regiment ernannt. Während des Ersten Schleswigschen Krieges nahm er den Gefechten bei Bau, Schleswig, Düppel, Hadersleben, Kolding, Gundsoe sowie der Belagerung von Frederica teil. Dafür erhielt er den Roten Adlerorden IV. Klasse mit Schwertern. Am 17. April 1850 kehrte er mit seinem alten Patent als Sekondeleutnant in das 8. Husaren-Regiment zurück. Er wurde am 19. November 1850 zur Dienstleistung als persönlicher Adjutant des Prinzen Friedrich Karl von Preußen kommandiert, stieg Anfang Januar 1851 zum Premierleutnant auf und wurde am 10. März 1853 unter Entbindung von seiner bisherigen Stellung als Rittmeister in das Leib-Garde-Husaren-Regiment versetzt. Am 19. Juni 1854 zum Eskadronchef ernannt, wurde er am 31. Januar 1858 als Hauptmann in den Großen Generalstab versetzt. Bereits am 12. Juli 1858 wurde er als Major in den Generalstab des VII. Armee-Korps versetzt. Von dort kam er am 15. Mai 1862 als Kommandeur in das neuerrichtete 9. Ulanen-Regiment. Dort wurde er am 17. März 1863 zum Oberstleutnant und am 18. Juni 1865 zum Oberst befördert.