Premier Fumimaro Konoe nam Matsuoka in juli 1940 in zijn kabinet op als minister van Buitenlandse Zaken. Matsuoka onderhandelde met nazi-Duitsland over de ondertekening van het Driemogendhedenpact (september 1940). Op 14 april 1940 ondertekende hij met premier Konoe het niet-aanvalsverdrag met Jozef Stalin (Sovjet-Unie). In april 1941 tekende hij als minister van Buitenlandse Zaken met de Sovjet-Unie het Neutraliteitsverdrag, maar toen Hitler hem aanbood om Japan ook deel te laten nemen aan de oorlog tegen de Sovjet-Unie bij de start van Operatie Barbarossa werd hij hiervan een groot voorstander en zette hij voortdurend druk op Konoe en de leiding van het Japanse Keizerlijke Leger om dit te accepteren. Dezen waren hiervan echter niet gecharmeerd en zetten hun streven op doelen ten zuiden van Japan. Toen Matsuoka daarop steeds luider riep om een aanval op de Sovjet-Unie en ook steeds roekelozer werd in zijn diplomatieke relaties met de VS, die hij verafschuwde, keerden Konoe en de legertop zich tegen hem. Konoe wilde op dat moment namelijk geen oorlog met de VS en besloot gezamenlijk met de Japanse militaire leiding dat Matsuoka weg moest. Konoe trad voor dit doel in juli 1941 met zijn voltallige ministerploeg, inclusief Matsuoka, af. Vervolgens werd Konoe onmiddellijk weer aangesteld als premier, waarbij hij Matsuoka verving door admiraal Teijiro Toyoda.