Hacia 1647 se produjo el escándalo que sacudió la vejez del artista: según cuenta la tradición, una de las hijas de Ribera, Margarita, fue seducida por don Juan José, una relación ilícita tratándose de una pareja no casada.