Figlio del presidente del tribunale di Berlino Heinrich Dietrich von Grolman, entrò nel reggimento di fanteria "Möllendorf" all'età di tredici anni; fu nominato alfiere nel 1795, sottotenente nel 1797, tenente nel 1804 e capitano nel 1805. Componente della "Militärische Gesellschaft", ciò gli permise di entrare nella cerchia di von Scharnhorst, distinguendosi per il carattere energico ed intrepido già nella guerra del 1806: aiutante del feldmaresciallo von Möllendorf prima, del generale Hohenlohe-Ingelfingen poi, ebbe la promozione a maggiore per i servizi resi in azione alla battaglia di Heilsberg. Dopo la caduta della Prussia e la conseguente pace, fu uno dei più attivi fra gli assistenti di von Scharnhorst nell'opera di riorganizzazione dell'esercito (1809).