Brahms hadde opprinnelig tenkt å dele verket inn i fire satser slik som klaverkonsert nr. 2. En av midtsatsene skulle bli en scherzo, et tegn på at Brahms ønsket en symfonisk konsert og ikke noe virtuost bravurnummer. De planene ble imidlertig forkastet, og i stedet ble midtsatsen en «skjør adagio», som Brahms selv sa. Noe av det forkastede stoffet ble omarbeidet i klaverkonsert nr. 2.