Son père est employé (comme son propre père) à la Banque d'Angleterre. C'est un homme de culture et d'humeur égale qui joue avec ses enfants à reconstituer, par exemple, le siège de Troie avec les chaises et les tables du salon. Il possède une bibliothèque d'environ livres en grec, latin, hébreu, anglais, français, italien, espagnol — ouvrages littéraires ou savants, d'histoire, de philosophie, métaphysique, théologie, science, ou encore d'inspiration ésotérique, présentant parfois un style hermétique qui a peut-être inspiré certains des futurs écrits du poète. Sa mère, fille de William Wiedermann, négociant allemand établi à Dundee, Écosse, qui a épousé une jeune créole, est membre d'une église évangélique non-conformiste ("Congregationalists"). Les hautes qualités intellectuelles, artistiques et morales du couple, sa vie de famille affectueuse et simple, son goût pour les choses de l'esprit assurent un environnement propice à l'épanouissement des dons manifestés très tôt par les deux enfants, Robert puis sa sœur cadette Sarianna. Robert, en particulier, est encouragé par ses parents à cultiver son amour des lettres et des arts, la musique, par exemple, dont sa mère, excellente pianiste, lui a transmis le goût et la disposition, au point que très jeune, il compose des arrangements pour certains chants. De plus, il est autorisé à fréquenter, alors qu'il n'est qu'un enfant, la galerie Dulwich (« "Dulwich Gallery" »), située non loin de son domicile. Ce musée devient l'un de ses repaires favoris où il savoure le privilège de contempler des Watteau, Poussin et Murillo dont il se souviendra toute sa vie.