Ghita Nørby vokste opp i Nyhavn nr 10 med en far som var kammersanger ved Det Kongelige Teater like ved, en mor som var pianist, og en bror som var tre år yngre. Ved luftangrep under andre verdenskrig søkte familien tilflukt i restauranten i første etasje. Ghita Nørby har dysleksi og ble i skoletiden ansett for å være evneveik, som medførte at hun ikke torde å gå opp til eksamen artium.