I 1884 reiste Johan til Stockholm for å studere ved Kungliga Musikaliska Akademien. Etter noen korte måneder høsten 1885 som konsertmester ved Musikselskabet Harmoniens orkester i Bergen, fortsatte han sine studier ved Hochschule für Musik und Theater Leipzig 1886–88 under den russiske fiolinvirtuos Adolph Brodsky (1851–1929). Der møtte han også de norske komponistene Edvard Grieg (1843–1907) som var på turné og Christian Sinding (1856–1941), som hadde bodd der i en årrekke.