Foreldrene var John Fylling og Ragnhild Sorte. Faren var interessert i historie og overførte både kunnskaper og interesser til sønnen. Fylling leste bøker han lånte hos prestene i distriktet og hos Daae-familien på Solnør.