Ved den tyske invasjonen i 1940 befant moren og de to guttene seg i Stockholm. Av frykt for at de ville bli brukt som pressmiddel mot utenriksminister Halvdan Koht, som var Skards bestefar, flyktet familien via Sovjet og Japan til USA. Skard oppholdt i Washington D.C. resten av krigen sammen med sine foreldre.