נהרו הושבע לכהונת ראש הממשלה ב-15 באוגוסט 1947, ושירת בתפקיד זה במשך 17 שנים, עד מותו בשנת 1964. ההפסד הכבד של הודו במלחמה עם סין גרם לירידת קרנו מבחינה ציבורית, והשפיע עליו רבות מבחינה פיזית ומנטלית גם יחד: הוא הרגיש נבגד על ידי הסינים, בהם תמך בפורומים רבים. הוא מת זמן קצר אחרי המלחמה, כשהוא אמנם הצליח להשיג הרבה, אך - על פי ציטוט מרוברט פרוסט שתמיד היה על שולחנו – תמיד הרגיש שיש עוד הרבה לעשות. מורשתו, שפעם נראתה מזהירה, היום נתונה לביקורת מחדש מצד מלומדים רבים, שמוצאים בה חסרונות רבים.