I 1919 returnerte hans mor som nå var blitt enke, til Nürnberg. Hun hadde med seg Hugos fem år yngre halvbror Anton. De bodde sammen med besteforeldrene og med morens søster Anna og hennes familie. Tre ganger søkte han om å komme inn på byens musikkonservatorium uten hell, noe han selv mente skyldtes hans familiesituasjon, men som offisielt ble begrunnet med «for lite talent». Han fullførte derfor gymnasutdanning, sterkt støttet av Ingeborg Heinsens familie.