Bandet ble dannet i Benton Harbor i Michigan som The Four Sounds. Den originale musikersammensetninga besto av Gene Harris på piano, Andrew Simpkins på kontrabass og Bill Dowdy på trommer, sammen med saksofonisten Lonnie «The Sound» Walker, som sluttet året etter. Gruppa flyttet til Washington, D.C. og deretter New York, hvor de, som The Three Sounds, spilte de inn en plate for Riverside Records, før de signerte en eksklusiv kontrakt med Blue Note.