I 1942 forlot Williams, som hadde skilt seg fra sin mann, bandet Twelve Clouds of Joy, og dro tilbake igjen til Pittsburgh. Hun dro dit med bandkollega Harold «Shorty» Baker, som hun dannet en seksmannsgruppe med som inkluderte Art Blakey på trommer. Etter et langvarig samarbeid i Cleveland, reiste Baker for å slutte seg til Duke Ellingtons orkester. Williams ble også med i bandet i New York, og deretter reiste de til Baltimore, hvor hun og Baker giftet seg. Hun reiste med Ellington og arrangert flere låter for ham, inkludert «Trumpets No End» (1946), hennes versjon av Irving Berlins "Blue Skies", men innen et år hadde hun forlatt Baker og gruppen og returnerte til New York.