Rita Karen Olsen ble født i Danmark til Walter Olsen og Karen Beck Olsen, som emigrerte til USA og ble amerikanske statsborgere. Hun vokste opp i Yorktown Heights i Westchester County i delstaten New York.