I 1544 fikk Anna en lillebror Albrecht, som døde allerede to år etter. Da moren ikke fikk flere barn, vokste Anna opp som enebarn, høyt elsket og litt bortskjemt. Barndommen tilbrakte hun i Dresden, hvor også morens yngre søsken Georg og Elisabeth av Hessen oppholdt seg. I denne lille familiekretsen følte Anna seg godt tilpass. Foreldrenes ekteskap var lykkelig, selv om faren for det meste befant seg på en eller annen krigsskueplass. I 1553 ble faren hårdt skadet i slaget ved Sievershausen, og døde senere av skadene. Da han ikke hadde noen sønn, gikk kurfyrstetittelen av Sachsen videre til hans yngre bror August.