Т.е.  вы предлагаете покинуть дом (семью),  который построил для себя, потратил годы, вложился  морально. Да,  если это пожар, наводнение. А тут  ситуация не критичная.  Мужчины  все  разные. Если ваш  муж так много  возится с  младшей,  возможно ему не хватает вашей любви и  секса (сублимирует). Подумайте,  и не ставьте в пример  свою как бы счастливую жизнь.