То, что у него часть души осталась с той женщиной, равно как и то, что он ее навещал в больнице, не мешает вашей совместной жизни, имхо. Только ваше ковыряние в его душе может помешать. Он по-разному к вам обеим относится, но это вовсе не значит, что вас не любит, а ее разлюбить не может.