Manley var en forkjemper for øyas deltakelse i føderasjonen av Karibia, men han bøyde seg for presset til å avholde en folkeavstemning i 1961 som resulterte at Jamaica til slutt trakk seg ut av denne unionen.