Gleichen sert de page d'honneur à la reine de 1874 à 1879. Il rejoint les Grenadier Guards en 1881 et gravit progressivement les échelons au fil des ans, devenant finalement major général. Il sert dans l'éphémère Guards Camel Corps dans la campagne du Soudan en 1884–85 et avec l'armée égyptienne dans la campagne de Dongala en 1896. En 1899–1900, il sert dans la Seconde guerre des Boers en Afrique du Sud et est mentionné dans des dépêches pour ses actions pendant la Bataille de Modder River le 28 novembre 1899. En janvier 1900, il est nommé sous-adjudant général adjoint des forces en Afrique du Sud. Il est agent du Soudan au Caire de 1901 à 1903 avec le grade local de lieutenant-colonel puis attaché militaire à Berlin de 1903 à 1906. Lui et l'empereur Guillaume II se brouillent et Gleichen est envoyé comme attaché militaire à Washington DC de 1906 à 1907. Il rencontre les frères Wright à Washington et rédige un rapport sur leur avion, mais échoue également à nouer des relations avec le président américain Theodore Roosevelt. Il est directeur adjoint des opérations militaires de 1907 à 1911. Il sert pendant la Première Guerre mondiale, commandant la brigade de 1911 à 1915, puis la division de 1915 à 1916. Il est directeur du Bureau du renseignement au Département de l'information de 1917 à 1918. Il est président du Comité permanent des noms géographiques à partir de 1919.