Etter at moren hans døde av tuberkulose, flyttet familien til Sjælland. Samtidig gikk faren inn i en dyp depresjon. Herman Bang kom på kostskolen Sorø Akademi, og etter studentereksamen flyttet han inn hos farfaren, som var kongelig livlege og bodde i et palé like ved Amalienborg i København. Det er årene hos farfaren Bang minnes i erindringsromanen .