I 1927 overlot Berger forretningen i Vika til sin bror, Peder, og gikk selv helt inn for å livnære seg som maler. Han kunne ikke lenger stå imot kallet.