Swinburne era de origen noble: nació en Grosvenor Place (Londres) del almirante Charles Henry Swinburne y de lady Henrietta Jane, hija del III.