Op 20 november 1941 werd hij tot minister van Koloniën benoemd in het kabinet-Gerbrandy II van de Nederlandse regering die in ballingschap te Londen was gevestigd, maar hij bleef nog in Nederlandsch-Indië en zijn functie werd door de minister-president tot 21 februari 1942 waargenomen. Inmiddels was hij na de aanval op Pearl Harbor (7 december 1941) en de oorlogsverklaring van Nederland aan Japan (8 december 1941) op aandringen van de gouverneur-generaal met ingang van 1 januari 1942 ook tot luitenant-gouverneur-generaal benoemd. In die hoedanigheid trachtte hij tevergeefs tot nauwere militaire samenwerking met de VS te komen en Washington tot levering van (reeds gekochte en betaalde) vliegtuigen te bewegen. In 1942 kreeg hij van gouverneur-generaal Tjarda van Starkenborgh de opdracht om uit te wijken naar Australië. Op 7 maart 1942 ontkwam hij gedurende de Slag om Java per vliegtuig naar Australië en daarna naar Londen.