Zitas Vater, Robert von Parma, war nach der Ermordung seines Vaters 1854 der letzte Herzog von Parma. Da er aber erst sechs Jahre alt war, fungierte seine Mutter Louise Marie Thérèse d’Artois als Regentin. Diese musste 1859 im Zuge der italienischen Einigungsbewegung (Sardinischer Krieg) mangels militärischer Rückendeckung durch Österreich mit ihren Kindern zunächst in die Schweiz übersiedeln und gelangte von dort aus ins Exil nach Niederösterreich, wo Robert nun aufwuchs.