Som ung mann var Manley en briljant forsker og friidrettsutøver som studerte juss ved Jesus College, Oxford som Rhodes-stipendiat. Han vervet seg senere til militæret og kjempet under den første verdenskrig i Royal Field Artillery, og senere returnerte han til Jamaica for å jobbe som advokat.