Olaya regentó este Ministerio hasta el 23 de noviembre de 1911, y lo volvió a ocupar durante la administración del presidente Jorge Holguín, en 1921, hasta el 4 de enero de 1922; además, ocupó el cargo de Ministro de Agricultura en la misma administración.