Samuel S. Carroll naît près de ce qui est maintenant Takoma Park, Maryland. Il est un descendant de Charles Carroll, un signataire de la déclaration d'Indépendance. Il suit sa scolarité dans les écoles locales, et reçoit une nomination à l'académie militaire américaine de West Point, New York. Il est diplômé sur le 49 cadets de la promotion 1856 et est breveté second lieutenant dans l'infanterie. Il est affecté sur la frontière à divers postes dans le vieil ouest, avant de revenir à West Point à un poste d'intendance.