Tracy blev født i Franklin, Connecticut. I sin ungdom blev han uddannet i de frie kunster.. Hans navn findes blandt mændene i et militærkompagni fra Roxbury, som kæmpede på revolutionærernes side ved slaget ved Lexington i begyndelsen af den amerikanske revolution. Han gjorde senere tjeneste i dette kompagni fra Roxbury som administrator.