Ръдърфорд учи в училището Хейвлок, а след това в колежа в близкия до Спринг Гроув град Нелсън. Справя се добре и получава стипендия, с която продължава образованието си в Кентърбърийския колеж на Новозеландския университет в Крайстчърч, където играе ръгби и участва в дебати. Получава бакалавърска и магистърска степен по физика, математика и математическа физика. През 1895 г. Ръдърфорд получава изследователска стипендия от Кралската комисия, управляваща печалбите от изложението от 1851 г., и избира да продължи работата си в Кавендишката лаборатория на Кеймбриджкия университет под ръководството на Джоузеф Джон Томсън. Заминава за Англия същата година и става първият студент изследовател от друг университет (т.нар. „извънземни“ без кеймбриджка степен), което предизвиква ревност у по-консервативните членове на колегията в Кавендиш.