Baker var kjent for sitt voldsomme temperament, og for sine konfrontasjoner med sine musikere og fans. Baker var gift fire ganger og var far til tre barn. Baker og hans første kone, Liz Finch, fikk sitt første barn, datteren Ginette Karen, den 20. desember 1960. Bakers andre datter, Leda, ble født 20. februar 1968. Bakers sønn, Kofi Streatfield Baker, ble født i mars 1969 og ble oppkalt etter Bakers venn, den ghanesiske trommeslageren Kofi Ghanaba.