Fra han var seks år opptrådte han med stepping og sang. I 1915 flyttet han til Chicago hvor han begynte å skrive sanger og opptre i uformelle lag. I 1925 ble han banemester for baseball-laget Chicago White Sox. Som musiker var han ukjent fram til 1936 da Meade «Lux» Lewis spilte inn en av sangene hans; «Yancey Special». I 1939 spilte han inn sin plate, for Don Qualeys nye selskap Solo Art. I årene som fulgte spilte han sammen med konen sin, bluessangerinnen Estelle «Mama» Yancey, de spilte blant annet i Carnegie Hall i 1948.