Han møtte sin første kone, Millicent Martin, på jobb i et varieté-teater, og paret var gift fra 1958 til 1965. Han var senere gift med olympiske løperen June Paul, som han drev en nattklubb med i Grenada. Nattklubben gikk imidlertid dårlig, og Carroll ble slått konkurs i 1974. Samtidig ble ekteskapet med Paul oppløst. Carroll giftet seg senere for tredje gang, med sørafrikansk-fødte Glenda Kentridge.