Пока складывается впечатление, что у вас не потеря времени, а сильная зависимость: финансовая, психологическая, физическая. И тут сможет что-то измениться только тогда, когда мужчина этого захочет. От вас это вообще не зависит. Он видимо очень продуманный, раз смог и жену с детьми в такое положение поставить и вас. Для чего-то ему все это нужно, пока. Решить только для себя, как будете жить, с учетом того, что в любой момент его рядом может не быть: может завтра, а может через 10 лет. Надо вам как-то этот момент прорабатывать, пусть вам ипотеку например возьмет, а оплачивать он будет, а то вы, как с мужем, через 15 лет с детьми на улицу...