Это просто стресс от серьезных перемен в вашей, уже устоявшейся жизни, конечно, это непросто, но у вас отличная ситуация ибо всегда останется свой угол, куда можно сбежать, если новая жизнь вам не понравится, договоритесь с собой на определенный срок, например, полгода, или хотя бы три месяца, если вы увидите перспективы в этих отношениях, замечательно, если все станет невыносимо - просто попросите жильцов освободить вашу квартиру. Но попробовать надо обязательно, чтобы не корить себя потом всю оставшуюся жизнь за возможно упущенное семейное счастье.