Ellington ble født i en svart overklassefamilie. Deri inngikk også pianotimer, som han begynte med i 7-8-årsalderen. I tenårene foretrakk han baseball foran musikken.