Robinson nació en el 10 de Downing Street, Londres (residencia del Primer Ministro), siendo el segundo hijo del entonces titular, Lord Goderich.