Chilton startet sin karriere i klubben "Seaham Colliery". Han skrev under amatørkontrakt med Liverpool sommeren 1938, men gikk i november samme år over til Manchester United. Han debuterte for klubben i september 1939. Som alle andre spiller i hans generasjon, mistet Chilton sine beste spiller-år på grunn av annen verdenskrig. Under krigen tjenestegjorde han i "Durham Light Infantry", og var med på landgangen i Normandie i juni 1944.