Castberg var konsertmester i Bergen Filharmoniske Orkester fra 1900. Sammen med Edvard Grieg stiftet han 1. september 1905 , som senere skulle bli Griegakademiet.