Olaya era de cuna humilde, de raza indígena, y vivía de la pesca artesanal en la villa de San Pedro de Chorrillos, una ranchería de pescadores al sur de la ciudad de Lima, que era célebre por sus baños adonde acudían las personas de la clase alta limeña.