כהונתו הראשונה של ויטאקר כראש ממשלה ארכה קצת יותר משנה עד נובמבר 1864 כהונתו הסתיימה עקב חילוקי דעות בינו לבין המושל הכללי ג'ורג' גריי על ניהול מלחמות הקרקעות של ניו זילנד. הוא גם התפטר מהמועצה המחוקקת ולתקופה קצרה בין 1866 ל-1867 הוא היה חבר הפרלמנט.