Johannes Brahms kom fra en vidt forgreinet familie fra Niedersachsen og Nord-Tyskland. Faren var kontrabassist, spilte horn og opptrådte som underholdningsmusiker med små ensembler i Hamburgs danselokaler. Moren drev en kortevare- og lintøybutikk sammen med sin søster, leide ut rom og arbeidet som kokke og syerske. Johannes fikk sin første klaverundervisning som syvåring, først av F. W. Cossel, senere av den mer betydelige Eduard Marxen. Talentet for komposisjon viste seg tidlig, og som Brahms skrev i 1849 vitner også om at han allerede var en dyktig pianist.