Karjalainen oli pääministerin sijaisena ja ulkoministerinä Virolaisen hallituksessa 1964–1966 ja ulkoministerinä Paasion I hallituksessa 1966–1968 ja Koiviston I hallituksessa 1968–1970. Tämän kauden tärkeitä ulkopoliittisia kysymyksiä olivat Tšekkoslovakian miehitys elokuussa 1968, Suomen OECD-jäsenyys 1969 ja epäonnistunut Nordek-hanke 1969. Kummallakin pääministerikaudellaan Karjalainen teki virallisen vierailun Neuvostoliittoon.