Ely ble født i Williamsburg, Iowa og vokste opp i Davenport, Iowa. Etter å ha fullført åttende klasse, ble han uteksaminert fra Davenport Grammar School 4. januar 1901. I 1904 ble han ansatt som sjåfør for Rev. Fr. Smyth, en katolsk prest i Cosgrove, Iowa, som delte Elys forkjærlighet for raske kjøretøyer, Med Father Smyths bil (en rød Franklin) satte Ely rekorden mellom Iowa City og Davenport.