Charles Williams kam im Jahr 1790 mit seiner Familie nach Rutland in Vermont. Sein Vater Samuel war ein Verleger und Mitbegründer der University of Vermont und verfasste das erste Geschichtsbuch von Vermont. Charles besuchte bis 1800 das Williams College. Nach einem anschließenden Jurastudium wurde er 1803 als Rechtsanwalt zugelassen. Danach wurde er Mitglied der Miliz, in der er es bis zum Generalmajor bringen sollte. Als Angehöriger dieser Truppe nahm er auch am Britisch-Amerikanischen Krieg von 1812 teil.