Til denne tiden hører også den eneste kjente kjærlighetshistorien livet hans, forelskelsen i Mrs. Jane Simon. Hun var gift med en lege og gjengjaldt ikke dikterens følelser. Swinburne glemte henne aldri, og komponerte diktet for å vise dette.