Ellis se hizo prominente después de actuar con el Oscar Peterson Trio de 1953 a 1958 junto con el pianista Peterson y el bajista Ray Brown.