La nueva pareja nunca llegó a tener hijos, y la relación conyugal no fue buena, según se deduce de varias cartas donde el artista y su amigo Pirckheimer hablan negativamente sobre Agnes.