Baldwin var sønn av Alfred Baldwin og Louisa Baldwin (født MacDonald). På farssiden var familien velstående industrieiere. På morssiden fantes fremstående representanter for malerkunst og litteratur. Blant hans onkler var malerne Edward Burne-Jones og Edward Poynter. Rudyard Kipling var Baldwins fetter.