Rutherfurd se narodil v Morrisanii v New Yorku Robertu Walteru Rutherfurdovi a Sabině Morrisové. Byl vnukem amerického senátora Johna Rutherfurda a pravnukem Lewise Morrise, signatáře Deklarace nezávislosti Spojených států. Vystudoval Williams College v Massachusetts roku 1834, pak absolvoval právní praxi v roce 1837 s Williamem H. Stewardem v Auburnu. Po složení advokátských zkoušek v roce 1837 se stal advokátem. Dne 22. července 1841 se oženil s Margaret Chanlerovou. Jejich syn Stuyvesant Rutherford se narodil v roce 1842.