Se interpreta erróneamente que Palomero perteneció a la Casa de Alba, tal y como refleja su actual y equivocado escudo, pero en realidad jamás fue así.