ב-5 במרץ 1881 הכריז הנשיא החדש ג'יימס גרפילד על הרכב הקבינט שלו. לתפקיד המנהל הכללי של דואר ארצות הברית מונה ג'יימס. לצורך כך הוא פרש מתפקידו כמנהל הדואר של ניו יורק, תפקיד שלו התמנה חתנו, ויומיים לאחר מכן הוא נכנס לתפקידו החדש. בעשרת החודשים בהן כיהן ג'יימס בתפקיד הוא הנהיג שורה של רפורמות שהחזיקו זמן רב לאחר מכן. עם כניסתו לתפקיד התברר לו שהגרעון השנתי של הדואר עמד על 2 מיליון דולר, ששורשיו הגיעו עד ל-1851. הוא החל מיד ליישם מדיניות לרפורמה, קיצץ בהוצאות משלוחי הדואר בהיקף של יותר מ-1.7 מיליון דולר, ובשירות הובלת הדואר בספינות קיטור בהיקף של יותר מ-300,000 דולר, וכך כיסה את הגרעון. יותר מכך, הוא שיתף פעולה עם מחלקת המשפטים בחקירה יסודית של מעשי שימוש לרעה והונאה במחלקת הדואר. מהלך זה הוביל בסופו של דבר למשפטי "נתיבי הכוכב" המפורסמים. כאשר הגיש ג'יימס את הדוח השנתי שלו לקונגרס, הוא הכריז שהרפורמות שהוא ביצע יאפשרו הפחתה של שניים עד שלושה סנטים בדמי משלוח הדואר, צעד שיושם זמן קצר לאחר מכן. הוא גם כינס וועידה בנושא העברות כספים בשיתוף עם ג'מייקה והמושבות האוסטרליות. זמן קצר לאחר רצח הנשיא גרפילד והתמנותו של צ'סטר ארתור במקומו, הוחלפו כל חברי הקבינט ובדצמבר 1881 החליט ג'יימס להתפטר ולפרוש מן החיים הפוליטיים.