Rutherford kom fra Morgan County i Missouri. Familien var baptister og eide en stor gård. Rutherford fikk liten støtte fra familien til sin juridiske utdannelse. Men med tiden ble han advokat, og fortsatte siden utdannelsen. Han fikk stillingen fredsdommer. Rutherford arbeidet på et tidspunkt som dommer i Fourteenth Judicial District of Missouri. På grunn av hans bakgrunn innen lov og rett ble han ofte omtalt som «Dommer Rutherford».