Pero Martín heredó de su padre el gusto por las mujeres y fue famoso su amancebamiento con María de Cervantes, tía paterna del escritor, comenzado al poco de que el padre de ella, Juan de Cervantes, empezara a trabajar para el duque (1527).