Familien gikk raskt fra å være nokså velstående til å ha nok med å få endene til å møtes. Paradoksalt nok skiftet de til stadig «finere» adresser ettersom økonomien ble dårligere, noe som antageligvis kom av at de flyttet med noen av farens forskjellige innredningsprosjekter. Med bakgrunn i farens geskjeft ble det altså mange flyttinger, noe som førte til at Gulbranssen ble ensom og mistet kontakt med kameratene. Han skriver selv: mini|Gulbranssens bestefars gård i Vestre Dahl i Frogn. Dette notatet og mange andre notater om barndommen ble skrevet av Gulbranssen med tanke på en bok om den harde oppveksten og om Kristiania-miljøet rundt 1900. Disse planene kom aldri lenger enn til tankestadiet.