בעוד שסאבג' ייצג דעות פחות מתונות בהשוואה לאלו של פרייזר, הוא עדיין חסר את האידאולוגיה הקיצונית של הולנד. בשעה שהלייבור ניסתה להציע תדמית "רכה" יותר ובשעה שהקואליציה הליברלית נאבקה עם ההשפעות של השפל הגדול, הצליחה מפלגת הלייבור בהנהגתו של סאבג' לנצח בבחרות הכלליות של 1935 ולהרכיב את הממשלה הראשונה מטעמה.
שר בממשלה.
בממשלת הלייבור החדשה קיבל פרייזר את תפקיד שר החוץ, השר לענייני טריטוריות האיים, שר הבריאות, שר החינוך, שר הימייה ושר המשטרה. הוא הוכיח את עצמו כשר פעיל מאוד, עבד לעיתים קרובות 17 שעות ביממה, שבעה ימים בשבוע. הוא גילה עניין מיוחד בחינוך, תחום שהוא החשיב חיוני עבור הרפורמה החברתית. כאשר הוא מינה את צ. א. ביבי לתפקיד במשרד החינוך, הוא רכש לעצמו בעל ברית רב ערך לביצועם של הרפורמות. פרייזר גם היה הכוח המניע מאחורי חקיקתו של חוק הביטוח הלאומי של 1938.
עם פרוץ מלחמת העולם השנייה ב-1939, היו כבר בידיו של פרייזר רוב התפקידים של ראש הממשלה. סאבג' היה כבר חולה זמן מה והיה על ערש דווי, למרות שמצבו זה הוסתר מעיני הציבור. פרייזר מילא את רוב תפקידי ראש הממשלה בנוסף לתפקידיו כשר.
יחד עם זאת, ויכוחים פנימיים במפלגה הקשו על פרייזר. ג'ון א. לי, סוציאליסט בולט בחוגי המפלגה, שהתנגד בתקיפות לנטייתה של הלייבור לכוון מרכז המפה הפוליטית, מתח ביקורת חריפה על סאבג' ועל פרייזר. התקפותיו של לי נעשו חזקות מספיק כדי שלא מעטים מתומכיו גינו אותם. פרייזר ותומכיו הצליחו להעביר החלטה על הרחקתו של לי מהמפלגה במרץ 1940.
ראש ממשלת ניו זילנד.
ב-27 במרץ 1940 מת סאבג'. פרייזר גבר על גרבן מקמילן וקלייד קר בהתמודדות על תפקיד מנהיג המפלגה, ומונה להיות ראש הממשלה. יחד עם זאת, היה עליו לתת את תפקיד בחירת השרים לוועידת המפלגה, ללא אישורו של ראש הממשלה, נוהג שקיים עד היום במפלגת הלייבור.
מלחמת העולם השנייה.
פרייזר שלט ביד רמה בממשלתו, בסגנון מנהיגות שגרם לחוסר שביעות רצון מצד חלק מעמיתיו ושתואר על ידם כסמכותני. הוא הסביר את הצורך בצעדים שאפיינו את סגנון מנהיגות זה בצרכי השעה, בתקופה ההיא הוא התמקד כמעט אך ורק בענייני המלחמה. אף על פי כן, חלק מצעדים אלו, כמו צנזורה, פיקוח על השכר וגיוס חובה, היו בלתי פופולריים בציבור. גיוס החובה עורר במיוחד התנגדות, בעיקר על רקע התנגדותו של פרייזר לגיוס החובה במהלך מלחמת העולם הראשונה. פרייזר השיב לטענה זו שהלחימה במלחמת העולם השנייה, שלא כמו במלחמת העולם הראשונה, הייתה צודקת ולפיכך גיוס החובה הוא רע הכרחי. למרות ההתנגדות בחוגי מפלגת הלייבור, הייתה לגיוס החובה תמיכה ציבורית מספקת.
במהלך המלחמה, ניסה פרייזר ליצור הבנה בין מפלגת הלייבור לבין יריבתה הראשית, המפלגה הלאומית. למרות זאת, המתנגדים לכך בשתי המפלגות מנעו את השגתו של הסכם והלייבור המשיכה למשול לבדה. יחד עם זאת, עבד פרייזר בשיתוף פעולה עם ראש הממשלה לשעבר, גורדון קואטס, שנמנה אז כבר על מורדי המפלגה הליברלית. פרייזר שיבח את קואטס על נכונותו לשים בצד את הנאמנות המפלגתית והוא האמין שמנהיג המפלגה הלאומית, סידני הולנד "שם את טובת המפלגה לפני האחדות הלאומית".
מבחינת המאמץ המלחמתי עצמו, פרייזר דאג במיוחד שלניו זילנד תהיה שליטה על כוחותיה הצבאיים. הוא האמין שארצות מאוכלסות יותר, במיוחד בריטניה, ראו בכוחות הצבאיים של ניו זילנד כחלק מצבאה שלה ולא כוח צבאי של מדינה ריבונית. פרייזר עמד על כך, בשיחותיו עם המנהיגים הבריטים, שברנרד פרייברג, מפקד חיל המשלוח הניו זילנדי, ידווח ישירות לממשלת ניו זילנד באותה מידת הרחבה ופירוט כפי שדיווח לרשויות הבריטיות. עם כניסתה של יפן למלחמה, היה על פרייזר להכריע בין החזרת כוחות צבאו לזירת האוקיינוס השקט (כפי שעשתה אוסטרליה) לבין השארתם בזירת המזרח התיכון (כפי שצ'רצ'יל ביקש). בסופו של דבר בחר פרייזר באפשרות השנייה.
לפרייזר היו יחסים מתוחים עם מזכיר המדינה של ארצות הברית, קורדל הול, במיוחד על המחלוקת על חתימת הסכם קנברה בינואר 1944. בביקורו של פרייזר בוושינגטון באמצע אותה שנה, הביע הול את חוסר שביעות רצונו מההסכם שנחתם בין אוסטרליה לבין ניו זילנד מבלי שתתקיים התייעצות מקדימה עם ארצות הברית. כתוצאה מכך הפכו כוחותיה הצבאיים של ניו זילנד לשחקן משנה במערכה באוקיינוס השקט.
לאחר המלחמה.
לאחר סיום המלחמה, הקדיש פרייזר את מרבית תשומת לבו למהלך הקמתו של ארגון האומות המאוחדות בוועידת סן פרנסיסקו ב-1945. הוא התנגד נחרצות למתן זכות הוטו לחמש החברות הקבועות של מועצת הביטחון. לעיתים קרובות הוא דיבר באופן בלתי רשמי בשמן של המדינות הקטנות בארגון. הוא נבחר להיות יושב הראש של אחת הוועדות הראשיות שדנו במעמדן של השטחים התלויים ובשנה שלאחר מכן, בעצרת שהתקיימה בלונדון, הוא היה יושב הראש של אחת מהוועדות שעסקו בתחומים הכלכליים-חברתיים. הוא זכה ביחס של כבוד מצדם של רבים מהמדינאים בעולם בשל מחויבותו לעקרונותיו, המרץ שלו, ומעל הכול, בשל מיומנויותיו בתפקידים אותם מילא.
לפרייזר היו יחסי עבודה קרובים במיוחד עם אליסטר מקינטוש, מנהל משרד ראש הממשלה במהלך רוב כהונתו של פרייזר ולאחר מכן במשרד החוץ. מקינטוש דיבר בשיחות פרטיות על תסכולו מההתמכרות של פרייזר לעבודה ועל חוסר הרגישות שלו כלפי צורכיהם האישיים של הכפופים לו, אך בין השניים נוצרו יחדי חיבה הדדית.
ב-1947 קיבל על עצמו פרייזר את תפקיד השר לענייני המיעוטים (ששמו שונה לשר לענייני המאורים). זה מכבר הוא גילה עניין בנושא המאורים והוא יישם שורה של צעדים שנועדו לצמצם את ממדי חוסר השוויון.
אשרור חוק וסטמינסטר וחבר העמים החדש.
בנאום מן הכס של שנת 1944 הציעה ממשלת פרייזר לאמץ את חוק וסטמינסטר של 1931 כדי שלניו זילנד תהיה עצמאות רחבה יותר מבחינה חוקתית. היה זה שנתיים לאחר שאוסטרליה אימצה את החוק. בדיון שהתקיים לאחר הנאום הביעה האופוזיציה התנגדות נחרצת להצעה בטענה שהממשלה מפגינה חוסר נאמנות לבריטניה.
ההצעה הוסרה מעל סדר היום ובאופן אירוני, יזמה האופוזיציה את קבלת החוק ב-1947, כאשר מנהיגה וראש הממשלה לעתיד, סידני הולנד, הגיש הצעת חוק פרטית לביטול המועצה המחוקקת (הבית העליון שהיה קיים אז בניו זילנד). בשל העובדה שניו זילנד נדרשה לקבל את הסכמתו של הפרלמנט הבריטי כדי לתקן את חוקת ניו זילנד משנת 1852, הסכים פרייזר לאמץ את החוק.
לאחר אשרורו של חוק וסטמינסטר התנהל עד מהרה ויכוח על עתיד חבר העמים הבריטי, שהפך להיות "חבר העמים". באפריל 1949, הכריזה אירלנד, לשעבר מדינת אירלנד החופשית, על עצמה כרפובליקה וחדלה להיות חברה בארגון. ממשלת פרייזר הגיבה בהעברתו של חוק הרפובליקה של אירלנד שהתייחס לאירלנד כאילו היא עדיין הייתה חלק מחבר העמים. בינתיים, הודו, שאך זכתה בעצמאותה, הייתה אמורה לעזוב גם היא את הארגון עקב היותה רפובליקה, למרות שראש ממשלת הודו סבר שארצו צריכה להישאר חברה בחבר העמים כרפובליקה. פרייזר האמין שחבר העמים יוכל להתייחס לעוולות הקולוניאליזם ובד בבד לשמור על הסולידריות בין חברותיו.
מבחינתו של פרייזר, קבלתה של הודו לחבר העמים כשהיא רפובליקה, היוותה איום על אחדותו של הארגון. הוא היה מודע לדעת הקהל הביתי שלו והיה נחוש בדעתו לקטול את הביקורת מצדה של האופוזיציה שהייתה לויאליסטית ובעלת מודעות אימפריאלית. מפלגת הלייבור הייתה אז בשלטון כבר 14 שנים ועמדה לפני קרב מייגע בבחירות הקרבות כדי לשמור על שלטונה. הבחירות עמדו להתקיים חודשים ספורים לאחר פגישת ראשי ממשלות חבר העמים. במרץ 1949 כתב פרייזר לראש ממשלת קנדה, לואי סן-לורן, והביע את תסכולו ואת חוסר הנוחות שלו בנוגע לעמדתה של הודו. סן-לורן ציין שהוא לא יוכל להשתתף בפגישה אם סוגיית הרפובליקה של הודו תהיה הנושא העיקרי. פרייזר טען: "יש לי את השאיפה העמוקה ביותר לראות את הודו נשארת בחבר העמים, אך לעת עתה, אין אני דרך מניחה את הדעת להגשים שאיפה זו. האם המדינות החברות בארגון אכן רוצות לשמור על הכתר כמושג מעורפל? האם אנו יכולים להצדיק את עצמנו בכך שנשחרר את הודו מהמחויבויות שכולנו לוקחים על עצמנו מרצון מבלי שהודו תיתן תמורה מצידה?"
פרייזר לא הותיר ספק רב בנוגע להתנגדותה של ניו זילנד לקבלתה של הודו לחבר העמים כרפובליקה כאשר הוא ציין באוזני עמיתיו ברחוב דאונינג: "ניו זילנד יושבה על ידי אנשים ממוצא בריטי, שבנו את ארצם החדשה כשלוחה של ארץ המולדת ורגשות הנאמנות שלהם וחיבתם כלפי משפחת המלוכה התעצמו בחלוף הזמן. לכל אורך השלבים הבאים בהם הם קיבלו עצמאות לאומית מלאה, הנאמנות שלהם גדלה יותר ויותר. ניו זילנד לא תוכל לסבול כל החלשה של נאמנויות אלו."
הוועידה דחתה הצעה לקיומו של מבנה דו-שכבתי של חבר העמים, שעל פיו תתקיים שכבה אחת של ממלכות חבר העמים הבריטי, יחד עם בריתות הגנה ושכבה שנייה שתכלול את החברות החדשות שתהיינה רפובליקות. הפשרה שהתקבלה בסופו של דבר הייתה ההכרה במלך כראש חבר העמים.
פרייזר טען שהפשרה אפשרה דינמיות של חבר העמים, שבעתיד תאפשר למושבות לשעבר באפריקה להצטרף כרפובליקות ולהיות חברות שוות זכויות וחובות בארגון. הפשרה אף נתנה לניו זילנד את החרות לשמור על דפוס אינדיבידואלי של נאמנות לכתר ולשאוף להגנה קולקטיבית.
שקיעה ותבוסה.
אף על פי שפרייזר ויתר על תפקידו כשר החינוך עוד בראשית תקופת כהונתו כראש הממשלה, המשיכו הוא ווולטר נאש להיות פעילים בגיבושה של מדיניות החינוך יחד עם צ.א ביבי.