I 1958 stilte han til valg til en plass i Florida House of Representatives på vegne av Det demokratiske parti og vant. I 1966, forlot Chiles Florida House for å kunne stille til valg til Florida Senate. Tross 12 års erfaring fra Florida Legislature, var Chiles relativt ukjent da han først bestemte seg for å stille til valg til senatsvalget i 1970. Som ledd i sin egen valgkampa, ga han derfor ut på en 1003 mile vandring fra Key West til Pensacola, noe som ga han klengenavnet . Valgkampen var vellykket, og Chiles slo motstanderen William C. Cramer med 53,9% mot 46,1%.