Incluso se cree que este añadido se hizo con la intención de unir vínculos entre la localidad y el linaje en algún momento indeterminado del siglo XVII: hasta al menos 1598, en toda la documentación referida a las armas de Borja únicamente se hace referencia exclusivamente al castillo como símbolo distintivo de la ciudad, encontrando la primera referencia a la vaca en el escudo en 1676, en las Ordenaciones de la Ciudad.