Если бы вы его хотя бы уважали за то, что любит вас, заботится. Сами говорите, жить негде было, он был влюблен. Получается, вы его все время  использовали, ничего не давая взамен. По-моему, ваш муж достоин уважения за его хорошее к вам отношение. Могу сказать с полной ответственностью, что браки, основанные на взаимном уважении, гораздо прочнее и долговечнее, чем химические браки по страсти и влюбленности. Из взаимного уважения и заботы друг о друге и возникает со временем настоящая любовь.