Rivera Lema, su padre, médico rural y militante de Acción Nacional durante la Segunda República, se trasladó al poco tiempo a Toledo, llevando consigo a su familia, donde sus hijos Antonio y el más pequeño José llegarían a convertirse en conocidos personajes de la ciudad, éste como sacerdote dedicado a los pobres y aquel como laico comprometido.