Julen 2004 var Olafsen og familien på ferie på Khao Lak i Thailand, hvor de ble rammet av tsunamien. Kona Elfrid (37) og hans datter Frøya (5) omkom, mens Olafsen og hans sønn Balder (6) overlevde. I den vanskelige tiden etter tsunamien ble Olafsen sykemeldt og sluttet i jobben som trener for Lyn.Han ble også tilbudt en jobb med daværende landslagstrener Åge Hareide, men takket nei.