Mercer Ellington ble født i Washington, DC og var sønn av den berømte komponisten, pianisten og orkesterlederen Duke Ellington. Da han var 18 hadde han skrevet hans første stykke som ble innspilt av faren («Pigeons and Peppers»).