Rutherford realizou seus trabalhos mais famosos depois de receber o prêmio Nobel de 1908. Sob sua direção, em 1909 Hans Geiger e Ernest Marsden realizaram o famoso experimento (muitas vezes chamado no Brasil de "Experimento de Rutherford"), o qual demonstrou a natureza nuclear dos átomos através da deflexão de partículas alfa atravessando uma fina folha de ouro. Nesse experimento, Rutherford pediu a Geiger e Marsden que procurassem por partículas alfa refletidas por ângulos muito grandes, algo que não seria esperado dadas as teorias atômicas da época. Embora raras, tais deflexões foram de fato observadas, algo que Rutherford mais tarde descreveu como "... o evento mais incrível que aconteceu comigo em toda a minha vida. Foi quase tão incrível quanto se você atirasse um projétil de 15 polegadas num lenço de papel e ele ricocheteasse de volta e o atingisse". Para conseguir explicar a forma precisa com que as deflexões dependiam do ângulo, Rutherford foi levado em 1911 a formular o modelo atômico que leva seu nome - no qual concebeu o átomo como constituído de um núcleo minúsculo de carga positiva, contendo quase toda a massa do átomo, e orbitado por elétrons. Baseado na concepção de Rutherford, o físico dinamarquês Niels Bohr idealizaria mais tarde um novo modelo atômico.