Tracy föddes i Franklin, Connecticut. I sin ungdom fick han utbildning i de fria konsterna. Hans namn finns med bland männen i ett militärt kompani från Roxbury, som svarade upp på revolutionärernas sida inför slaget vid Lexington i början av amerikanska revolutionen. Han tjänstgjorde senare i detta kompani från Roxbury som administratör.