Morley mengaku bahwa ayahnya "kuliah di Oxford dan berbicara sembilan bahasa" tetapi dia meninggal di usia muda, sehingga Eric menjadi anak yatim di usia 11 tahun sementara ibu dan ayah tirinya meninggal karena tuberkulosis. Ia bersekolah di Whitstable Grammar School di Kent. London County Council mengirimnya ke kapal pelatihan Royal Navy HMS Exmouth, yang ditambatkan di Grays. Di sini, ia mematahkan batang coklat untuk dijual pada teman-temannya. Ia bergabung dengan Royal Fusiliers pada usia 14 tahun dan memainkan French horn dalam band. Selama perang ia menjadi kapten di Korps Layanan Tentara Kerajaan, yang mengorganisir hiburan bagi pasukan di Dunkirk.