Cleaver ble født i Wabbaseka i Arkansas, og som barn flyttet han sammen med sin familie til Phoenix og deretter til Los Angeles. Han giftet seg med Kathleen Neal Cleaver i 1967; de skilte seg i 1987. De hadde en sønn, Ahmad Maceo Eldridge Cleaver, og en datter, Joju Younghi Cleaver.