Moren Agnes var venninne av Ruth Maier som hadde flyktet fra nazistene i Østerrike og ble deportert til Auschwitz av den tyske okkupasjonsmakten i samarbeid med norske myndigheter. Faren var frivillig frontkjemper i SS-uniform under andre verdenskrig, dette er tema for Westlies bok (2008). Foreldrene giftet seg under krigen. Ifølge Westlie forsvarte han resten av livet at han hadde vært med på krigen mot Sovjetunionen, mens behandlingen av jødene plaget ham. Westlie tror at faren og hans kamerater drepte jøder, men at de ikke hadde noen glede av det.