Kviberg var en engasjert skolemann og skolepolitiker. Han gjorde seg tidlig til talsmann for det syn at «alle barn fra fattig og rik maa samles i en eneste barneskole, hvor deres forskjellige evner og anlæg kan faa utfolde sig» og at alt skolemateriell måtte være gratis. Lilleborg skole ble på mange vis en foregangsskole, og var blant de første når det gjaldt å ta film i bruk i undervisningen.