Hele denne tida bodde han så i en hule som den dag i dag kalles Mannslagarhola. Den hadde tre utganger, slik at han kunne smette unna om noen så etter ham. Ifølge sagnet ble Olav tatt da det bare var noen få dager igjen før fristen – trolig avslørt av Eivind Vindal, som gjerne skulle hatt Gardvik etter ham. Han sneik også til seg jorda.