I 1934 tok han magistergraden i kunsthistorie og fikk en stilling som amanuensis ved Norsk Folkemuseum, hvor han ble værende i alle sine yrkesaktive år. Her ble han konservator 1937, underbestyrer i 1940, og konstituert direktør fra 1946, fast fra 1947. Kjellberg gikk først løs på innredningene i de nye gjenstandsmagasinene og de nye utstillingsbygningene. Ordningen viste et sikkert sikkert grep om det estetiske og i formspråket. Kirkesamlingen på museet har beholdt sitt grunnlag etter det mønsteret som Kjellberg bygde opp.