Etter examen artium 1876 og cand.theol. i 1884 var han i tre år ved Fredrikshald høyere pikeskole som skolebestyrer. Dernest var han ved Frøken Bauers pigeinstitutt fra 1888 til 1894, forøvrig eid av den tyske Caroline Bauer (1828–1909). Jakob ville begynne for seg selv og kjøpte i 1894 Bauers skole, som han videreførte som Berles pikeskole. I 1898 ble det nye bygget oppført i Professor Dahls gate 30 på Frogner (strøk). Berles bror, arkitekten Halfdan Berle, hadde oppdraget med bygget. Skolen ble drevet som privat pikeskole frem til 1919. Deretter kjøpte kommunen skolen. Skolen fortsatte som kommunal pikeskole med Berle som rektor frem til 1926.