En julio de 1936, implicado en la conspiración militar contra el gobierno, se trasladó a Oviedo; allí, el 19 de julio se puso a las órdenes del coronel Antonio Aranda —comandante de la guarnición local— y se unió a la sublevación militar. Su participación en la sublevación fue crucial para Aranda. Al frente de un grupo de guardias civiles logró hacerse con el cuartel de la Guardia de Asalto. Nombrado delegado de Orden Público tras el triunfo del golpe de estado, Caballero dirigió una dura represión en Oviedo contra los elementos izquierdistas y partidarios de la República. Bajo sus órdenes actuaron escuadrones de falangistas que detenían o asesinaban a todos aquellos que fueran considerados «enemigos». Gerardo Caballero resultó herido durante el asedio republicano de la ciudad, llegando a perder un ojo como consecuencia de las heridas.