Baker ble født i Dearborn County, Indiana, i mars 1882. I januar 1912 forlot han Indianapolis på en to-girs Indian motorsykkel og dekket over 14 000 km i tre måneder. Han reiste gjennom Florida, ned til Cuba og Jamaica, og deretter til Panama. Han tok en dampbåt opp til San Diego, hvor han oppholdt seg en tid og deltok i flere utholdenhetskonkurranser, både i California og Arizona. Det var under denne tiden at Baker bestemte seg for at han ville forsøke å bryte den rekordsettende transkontinentale turen. I 1914 fikk han kallenavnet «Cannonball» fra en New York-avisjournalist som sammenlignet ham med toget fra Illinois Central, berømt av Casey Jones.