פון מולטקה נולד בפרכים והצטרף לצבא הדני, ולאחר מכן, ב-1822, הצטרף לצבא הפרוסי. מ-1835 ועד ל-1839 שירת כיועץ לצבא האימפריה העות'מאנית. מ-1857 ועד 1888 היה ראש ה-"Großer Generalstab" (ראש המטה הכללי). הוא תכנן והוביל בהצלחה מבצעים צבאיים במהלך מלחמת שלזוויג השנייה, במהלך המלחמה האוסטרו-פרוסית של 1866 ובמהלך מלחמת פרוסיה צרפת (1870-1871), שסללה את הדרך לאימפריה גרמנית המונהגת על ידי פרוסיה (1871). הוא שירת בדיאט בקונפדרציה הצפון-גרמנית מ-1867 עד 1871, ומ-1871 ועד ל-1891 היה חבר ברייכסטאג, הפרלמנט הגרמני של זמנו. ב-1888 הוא פרש מתפקיד ראש המטה הכללי, ויורשו היה אלפרד פון ולדרזה. אחיינו, הלמוט יוהאן לודוויג פון מולטקה ("מולטקה הצעיר"), היה ראש המטה הכללי מ-1906 עד ל-1914.