A instalação do WSL tentará alterar automaticamente a localidade do Ubuntu para corresponder à localidade da instalação do Windows. Se você não quiser esse comportamento, poderá executar esse comando para alterar a localidade do Ubuntu após a conclusão da instalação. Você precisará relançar sua distribuição WSL para que essa alteração entre em vigor.
O exemplo abaixo altera a localidade para en-US:
sudo update-locale LANG=en_US.UTF8