Mientras se encontraba en este cargo se produjo el golpe de estado del teniente coronel Antonio Tejero el 23 de febrero de 1981, acontecimiento en el que Juste tuvo una participación destacada a pesar de no encontrarse entre los golpistas. Algunos de sus subordinados se encontraban entre los implicados, y la División Acorazada Brunete constituía un elemento clave de sus planes ya que era necesaria para tomar las calles de la capital. En el centro de mando de la División estuvo acompañado por jefes y oficiales (entre los que se encontraba Torres Rojas) que intentaron convencerlo de que se iba a producir un hecho muy grave ese mismo día, que el rey Juan Carlos estaba al tanto de la iniciativa y que el general Alfonso Armada se encontraría en el Palacio de la Zarzuela junto al monarca.