Uno de sus hijos, Arnold Ary Scheffer, fue también pintor y una de sus hijas se casó con el escritor Ernest Renan.