Konserten er laget for 2 fløyter, 2 oboer, to klarinetter (B), 2 fagotter, fire horn (opprinnelig 2 i B bass og 2 i F), 2 trompeter (B), pauker (B og F) og strykere. (Trompetene og paukene brukes kun i de to første satsene) Stykket har fire satser, i motsetning til tre som er typisk for slike konserter fra de klassiske og romantiske periodene: Allegro non troppo (B-dur) Allegro appassionato (D moll) Andante (B-dur / Fiss-moll) Allegretto grazioso (B-dur) Den ekstra satsen gjorde konserten lenger enn de fleste andre konserter på denne tiden. Når den begynte å bli ferdig, sendte Brahms et utkast til sin venn, kirurgen og fiolinisten Theodore Billroth, som Brahms tidligere hadde dedikert sine to første strykekvartetter, der han beskriver konserten som «noen små pianostykker». Brahms selv beskrev scherzoen som en «liten scherzosats».