El 27 de junio de 1823, cuando llevaba, entre otros recados, una carta de Sucre para Narciso de Colina (un patriota limeño), Olaya fue descubierto (se dice que por una delación).