En 1962 Riddle orquestó dos álbumes para Ella Fitzgerald, "Ella Swings Brightly with Nelson" y "Ella Swings Gently with Nelson", su primer trabajo juntos desde el disco "Ella Fitzgerald Sings the George and Ira Gershwin Songbook" de 1959.