Williams College
両親の下に帰るとすぐに彼はケガを負い、歩くのに杖を突かなくてはならなくなった。彼はこの不自由さを数学他の学問を続けることに役立てた。彼の学業は、彼の友人たちの関心を惹くほどとなり、友人たちはバリットにウィリアムズ大学に行くように促した。バリットは、1816年からウィリアムズ大学に入学した。彼は、彼自身の勉学の資金を調達するため、マサチューセッツ州アシュフィールドのサンダーソンアカデミーの教師となった。このときの教え子に、アメリカにおける女子教育の先駆者として知られるメアリー・メイソン・リヨンがいる。バリットは1818年にウィリアムズ大学に戻ったが、卒業する前に大学を去った。