Han ble Minnesotas justisminister i 1960, 32 år gammel, bare fire år etter at han hadde tatt juristeksamen. Da Hubert Humphrey fraskrev seg sin plass i USAs senat, etter å ha blitt valgt til USAs visepresident, ble Mondale utnevnt til denne plassen for resten av mandatperioden. Han ble gjenvalgt i 1966 og 1972 med gode stemmemarginer, og var dermed senator hele tiden fra 1964 til 1977. Han ble spurt om å stå som kandidat som visepresident av den demokratiske presidentkandidaten George McGovern i 1972, men avslo tilbudet.