Olaya fue elegido en 1910 como miembro de la Asamblea Constituyente para la reforma de la Constitución de 1886; representó al Departamento de Quesada.