Era hijo del contrabajista Johann Jakob Brahms (quien le dio sus primeras lecciones de música) y de Hersika Cristina Nissen.