Fraser var kjent som høyreorientert, og det avholdt tidligere statsministre fra å utnevne ham til ministerposter. Først i 1966 ble han utnevnt til minister for hæren av Harold Holt. Under John Gorton ble han undervisningsminister og i 1969 ble han forsvarsminister. Det var i samme periode da Australia involverte seg i Vietnamkrigen, noe som gav Fraser mange riper i lakken.