Fysiikan suurista löydöistä hänen nimiinsä luetaan atomin ytimen löytäminen; sen hän teki kokeella, joka nykyään tunnetaan Rutherfordin kokeena. Hän tutki radioaktiivisuutta ja otti ensimmäisenä käyttöön termit alfa-, beta-, ja gammasäteily. Rutherford havaitsi ensimmäisenä, että radioaktiivisesta aineesta puolet hajoaa vakioajassa (puoliintumisaika). Rutherford myös löysi protonin ja teki hypoteesin atomin varauksettomista hiukkasista, neutroneista. Rutherford sai Nobelin kemianpalkinnon vuonna 1908 radioaktiivisten alkuaineiden kemiaa koskevista tutkimuksista.