Роберт Морлі народився 26 травня 1908 року в невеликому селищі Семлі, у графстві Вілтшир, в родині майора Британської армії Роберта Вілтона Морлі та його дружини Гертруди Емілі (дівоче прізвище Фас). Батько брав участь у Другій англо-бурській війні. Мати була дочкою німця, який емігрував до Південної Африки.