Ved siden av klaverkonserten skrev han orkesterserenader og lieder, blant annet . Sangens tittel henspiller på et nytt damebekjentskap, Agathe von Siebold. En sommer viste de sin forelskelse så åpent at Clara Schumann ble sjalu og kunne konstatere at Brahms ganske raskt hadde kommet seg over skuffelsen. Men de hadde knapt utvekslet forlovelsesringer før Brahms foretok et tilbaketog. Han så seg ikke i stand til å binde seg på dette tidspunkt. Det gjorde han heller ikke senere, og Brahms forble ungkar hele livet. Noen år etter, i første sats av andre strykesekstett, la han inn et tema over tonerekken som henspiller på fornavnet . Han sa da selv: «Nå har jeg tatt farvel med min siste kjærlighet». I mai 1859 flyttet han til Hamburg hvor han skrev – som han først fullførte i 1869 – kammermusikk og tallrike klavervariasjoner: (firhendig).