Pepper levde i mange år i åsene i Los Angeles. Han ble avhengig av heroin på 40-tallet og hans karriere ble stadig avbrutt med fengselsopphold i 1954–1956, 1960–1961, 1961–1964 og 1964–1965. På slutten av 1960-tallet oppholdt Pepper seg på rehabilitering.