Butler aloitti vuonna 1847 jesuiittakoulun Tullabegissa, mutta myöhemmin Irlannin nälänhädän aikana perhe köyhtyi merkittävästi, jolloin hänet otettiin säästösyistä kahden muun veljensä tavoin pois opiskelemasta. Nälänhädän jatkuessa irlantilaisia maanviljelijöitä, joista suurin osa oli katolisia, alettiin karkottaa perheineen kodeistaan, sillä he eivät pystyneet toimittamaan maanomistajille näiden osuuksia sadosta. Myös Butlerin isä Richard osallistui maanviljelijäperheiden karkotuksiin, ja ainakin kerran hän otti Butlerin mukaan seuraamaan häätöprosessia. Nälänhädän hellittäessä Butlerin perheen pojat jatkoivat ennen pitkää opiskelujaan. Butler aloitti opinnot Dublinissa.