得少许酬劳而与伍德发生争吵，最终他在伍德手下见习18个月后离职，法官几乎没有向他支付任何报酬。菲尔莫尔不愿向法官保证永不再犯，决定放弃见习。他跟随家人西迁至距水牛城很近的伊利县东奥罗拉（），父亲买下农场，家中逐渐宽裕。1821年，菲尔莫尔达到21岁成人年龄，他在东奥罗拉学校教书，还在无需律师执照就能出庭的太平法院打过几场官司。1822年迁居水牛城后，他先后在学校和阿萨·赖斯（）与约瑟夫·克拉里（）合伙的律师事务所继续研读法律，并在这段时间与阿比盖尔订婚。1823年取得纽约州执业律师证书后，他谢绝水牛城律