Morrison var sønn av en politikonstabel og ble født i Lambeth i London. Som nyfødt mistet han synet på det høyre øyet på grunn av en infeksjon på øyet. Som mange tidlige ledere av Labour Party, hadde han lite formell utdanning og han sluttet på skolen i en alder av 14 år for å bli visergutt.