I 1966 lagde Sly bandet Sly & the Stoners sammen med vennen, og trompetisten, Cynthia Robinson. Nesten samtidig lagde også broren, Freddie, et eget band – Freddie & the Stone Souls. En av medlemmene var trommisen Greg Errico. Etter råd fra Slys kompis, saksofonisten Jerry Martini, slo brødrene i 1967 sammen sine respektive band og ble sammen til bandet Sly and the Family Stone. Ettersom både Sly og Freddie var gitarister bestemte Sly at Freddie skulle bli bandets offisielle gitarist – og at han selv skulle spille elorgel. Sly overtalte også Larry Graham til å spille bass.