Q:

Como fazer um Hello World no ASP.NET MVC? 

Eu já programo mas estou começando com C# e ASP.NET MVC.  Eu queria fazer um programa Hello World e ir adicionando coisas aos poucos como sempre fiz com qualquer linguagem que aprendi. 
Achei que criando um projeto no Visual Studio ele criaria um Hello World.  mas ele criou uma aplicação inteira, tem diversas pastas, mais de 200 arquivos, e isso é muito doido. 
Eu queria algo bem simples eu sei que não dá para fazer só um Console. Write("Hello World"), mas qual seria o código mais simples possível do MVC?  Eu queria ter códigos bem pequenos e com poucos arquivos, queria um projeto bem pequenininho, quase vazio. 
Toda pesquisa que faço dá códigos muito grandes. 

A:

Para criar uma estrutura simples para um site ASP.NET MVC
O mais simples para um Hello World. 
Algumas pastas são mandatórias, como é o caso das pastas Controllers, Models e Views. 
Estou usando o Visual Studio 2013 Express for Web. 
Crie um novo projeto ASP.Net Web Application:

Adicione as referências básicas do MVC (bibliotecas, Global.asax, RouteConfig e etc.) 

Como resultado, você terá um solution muito básica.  Uma que se você executar F5, não vai exibir página nenhuma, pois não existem páginas, mas existe a aplicação Asp. NET.  Veja como fica a estrutura: 

Sem views, sem controles, sem pasta de scripts (onde geralmente temos arquivos javascript) e sem pasta de imagens, ou seja, sem arquivos "desnecessários". 
Para criar um Hello World com uma View
Agora basta você criar um Controller novo :

E uso o MVC 5 Controller - Empty

Veja que foi criado um controller, que chamei de DefaultController, bem simples:

Agora temos um Controller com uma action chamada Index, mas ainda precisamos criar uma view para essa Action.  Para isso, basta clicar com o botão direito em cima da Action Index e escolher Add View.  Preencher a tela abaixo: 
Como resultado você tem um arquivo cshtml que é a view da action Index da Controller DefaultController. 

Agora basta iniciar o debug, F5, e você verá uma linda página em branco. 
Para incluir o Hello World, basta escrever no HTML do arquivo Index.cshtml a palavra Hello World. 
Se nem quero criar uma View para meu Hello World
Se você nem quiser ter um arquivo de View, pode optar por fazer um Hello World como o Laerte demonstrou em sua resposta:
public string HelloWorld()
{
    return "Hello World";
}

Assim, basta iniciar a aplicação e navegar até http://localhost:<suaPorta>/Default/HelloWorld

A:

Com Visual Studio aberto pressione: Ctrl  + Shift + J  ou pode simplesmente criar um Novo Projeto, selecione a aba Web e selecione o ASP MVC 4 Web Application, como mostrado na imagem a seguir:

Depois na próxima janela você escolhe Internet Application, com o arquivo HomeController aberto você vai adicionar o código abaixo, como mostrado na imagem, depois é só executar o programa e acessar o método pela URL. 

Por padrão quando você cria uma ASP MVC Web Application, ele também cria um Controller padrão ("HomeController"), você pode criar uma Action que é um método dentro do Controller:
public string HelloWorld()
{
    return "Hello World";
}

Assim basta você acessar a URL pelo seu servidor local: /Home/HelloWorld e verá na tela.