જ્યારે ઓલીવિયા માત્ર બે વર્ષની હતી, ત્યારે તેણીની માતાએ પુનર્લગ્ન કર્યા - યુનાઇટેડ સ્ટેટ્સ વાયુસેનાના અધિકારી માટે તેણીનું કુટુંબ ઘણી વખત સ્થળે સ્થાનાંતરિત થતું હતું, પરંતુ રહેવાની સૌથી વધુ વારંવારની જગ્યા ટોકિયો હતી, જ્યાં ઓલીવિયાના સાવકા પિતા રહેતા હતા.