Fue el único hijo legítimo de Andrés Agustín de Orbe y Zarauz, I marqués de Valde-Espina, que murió cuando José Joaquín tenía sólo cinco años de edad.