På 1930-tallet flytta Joe og Minnie til Chicago, der de sammen med størrelser som Big Bill Broonzy og Tampa Red bidrog til å modernisere countrybluesen i mer urban retning. McCoys gitarspill og gode stemme kunne gjort han fortjent til en solokarriere, men han foretrakk akkompagnatørns rolle, og etter å ha blitt skilt fra Minnie, danna han sammen med broren Charlie gruppa The Harlem Hamfats. Disse gjorde flere innspillinger mellom 1936 og 1939. Seinere etablerte han gruppa Big Joe and His Washboard Band – sammen med bl.a. Robert Lee McCoy. Denne gruppa ble seinere omdanna til Big Joe and His Rhythm.