Goloenski's carrière kreeg een diplomatieke wending toen hij in 1943 werd aangesteld bij het Sovjetse Ministerie van Buitenlandse Zaken, waar hij tot 1952 de leiding kreeg over de vakafdeling voor verdragrecht van het Ministerie van Buitenlandse Zaken. Omdat Goloenski het Engels en Frans goed beheerste, werd hij tijdens de Conferentie van Potsdam in 1945 ingezet als vertaler en juridisch expert. Verder maakte hij deel uit van de Sovjet-Russische delegatie tijdens de Conferentie van Dumbarton Oaks in 1944 en tijdens de ondertekening van het Handvest van de Verenigde Naties in San Francisco in 1945. Verder vertegenwoordigde hij de Sovjet-Unie van 1946 tot 1948 als aanklager tijdens de Processen van Tokio.