Pasó su infancia en la casa de sus padres y abuelos en Bonchurch, Isla de Wight y también en la mansión que su abuelo, Sir John Swinburne, VI.º baronet (1762-1860), tenía en Capheaton Hall (Northumberland), provista de una famosa biblioteca.