לפוליטיקה נכנס לאחר שהשתתף בוועידת חוקה ששכתבה את חוקת מישיגן בשנים 1961–1962 ונבחר למושל מישיגן ב-1962. הוא נבחר מחדש ברוב דחוק במערכות הבחירות של 1964 ו-1966 ופעל לחיזוק כספי המדינה ומבנה הכנסותיה, הרחיב את גודל הממשלה הארצית והנהיג את מס ההכנסה הארצי הראשון של מישיגן. רומני היה תומך נלהב של התנועה האפרו-אמריקאית לזכויות האזרח. הוא ייצג בקצרה את הרפובליקנים המתונים נגד הרפובליקנים השמרנים בראשות בארי גולדווטר במהלך הבחירות לנשיאות ארצות הברית 1964. כמו כן, הוא קרא להתערבות של כוחות פדרליים במהלך המהומות בדטרויט ב-1967.