Etter at mora var død i tuberkulose flytta familien til Sjælland. Samtidig gikk faren inn i en djup depresjon. Herman Bang kom på kostskolen Sorø Akademi, og etter studenteksamen flytta han inn hos farfaren, som var kongelig livlege og bodde i et palé like ved Amalienborg i København. Det er åra hos farfaren Bang minnes i erindringsromanen .