Overgrep, avvisning, omsorgssvikt og mobbing kan ødelegge et barns identitet. For en person med AvPD skal det svært lite til for å gjøre stor skade. Derfor vil en unnvikende person ha store problemer med å utvikle og opprettholde forhold over lang tid. Frykten for å bli sett og at noen skal bli kjent med dem er så sterk, at de vil føle seg gjennomskuet, utsatte og sårbare, og velger å isolere seg, til tross for at de har et intenst ønske om kontakt med andre mennesker.