Con el regreso al poder del general Domingo Caicedo y Santa María tras la renuncia del general Rafael Urdaneta, Montoya hizo parte de las Juntas Revolucionarias que conformó el general José María Obando para presionar el desconocimiento del Pacto de Apulo, acuerdo celebrado entre Urdaneta y Caicedo que consistía principalmente en el compromiso que asumió el segundo de respetar a los militares que acompañaron al gobierno del primero, a cambio que este le devolviera la presidencia de Colombia.