Jorge voltou a sofrer de sua doença recorrente em 1804; após se recuperar, Addington renunciou e Pitt voltou ao poder. Ele tentou nomear Fox para o ministério, porém o rei foi contra. Lorde William Grenville, 1.º Barão Grenville, achou que era uma injustiça com Fox e se recusou a fazer parte do novo governo. Pitt concentrou-se na formação de uma coligação com a Áustria, Rússia e Suécia. Entretanto, esta Terceira Coligação teve o mesmo fim que a primeira e a segunda, ruindo em 1805. Os reveses na Europa afetaram a saúde de Pitt e ele morreu no ano seguinte, reabrindo a questão sobre quem deveria servir no ministério. Lorde Grenville se tornou primeiro-ministro, com seu "Ministério de Todos os Talentos" incluindo Fox. Jorge foi conciliatório com Fox depois de ser forçado a capitular com sua nomeação. Após a morte dele em setembro de 1806, o rei e seu ministério entraram em conflito. Para aumentar os recrutamentos, o governo propôs em fevereiro de 1807 uma medida onde os católicos receberiam permissão para servirem em todas as patentes das forças armadas. Jorge os instruiu para abandonarem a medida e também concordarem em nunca mais criarem algo semelhante. Os ministros concordaram em abandonar a medida ainda pendente, mas se recusaram a prometerem algo para o futuro. Eles foram dispensados e substituídos por lorde Portland como o primeiro-ministro nominal, com o verdadeiro poder sendo exercido por Spencer Perceval, chanceler do tesouro. O parlamento foi dissolvido e a eleição deu ao ministério uma grande maioria na Câmara dos Comuns. Jorge não fez mais nenhuma grande decisão política em seu reinado; a substituição de Portland por Perceval em 1809 foi de pouca significância.