A Corrida do Ouro na Califórnia trouxe um aumento no comércio, mas também alguns visitantes indesejáveis. Anteriormente, as longas viagens ao redor do Cabo Horn ou da Europa significavam que os marinheiros infectados eram recuperados ou jogados no mar quando chegavam. A curta viagem da Califórnia trouxe várias ondas de doenças que dizimaram os havaianos nativos que não tinham imunidade. No verão de 1853, uma epidemia de varíola causou milhares de mortes, principalmente na ilha de Oʻahu. Judd, sempre em desacordo com Wyllie, perdeu o apoio de outros que o culpavam por não conter a doença (ou tinham outros motivos políticos para querê-lo fora do poder). Judd foi forçado a renunciar em 3 de setembro e foi substituído por Elisha Hunt Allencomo Ministro das Finanças.