Annie Skau var datter av Johan Fredrik Skau (1887–1975) og Marie Ingeborg Halvorsen (1890–1966). Faren jobbet på verftet i Horten. Hun var søster til tidligere justisminister Bjørn Skau (1929–2013) og fagforeningslederen Leif Skau (1916–1992).