Alpheus Williams besuchte bis 1831 das Yale College. Nach einem anschließenden Jurastudium und seiner im Jahr 1837 erfolgten Zulassung als Rechtsanwalt begann er in Detroit in seinem neuen Beruf zu arbeiten. Von 1840 bis 1844 arbeitete er auch als Nachlassrichter. In dieser Zeit gab er auch die Zeitung „Detroit Daily Advertiser“ heraus. Während des Mexikanisch-Amerikanischen Krieges war Williams Oberstleutnant in einer Infanterieeinheit aus Michigan. Zwischen 1849 und 1853 fungierte er als Posthalter in Detroit. Während des Bürgerkrieges erreichte er den Rang eines Brevet-Generalmajors. Dabei war er zeitweise Kommandeur des 12. Armeekorps. Williams nahm an mehreren Schlachten (Fredericksburg, Chancellorsville, Gettysburg) teil und wurde dabei auch verwundet. Er gehörte zu den Truppen unter General William T. Sherman, die im Jahr 1864 während des Atlanta-Feldzuges durch Georgia, South Carolina und North Carolina zogen.