Автор, вам надо честно обсудить эту тему с мужчиной. на перспективу ваших планов, люди то взрослые.Если дети  захотят переехать, а это их право, и право вас как его женщины понять как вы будете жить дальше? То можно с мужчиной просто обговорить момент, что вы живете вместе, а детям его снимаете жилье.Ну если вы переедете к нему...Ну я бы сделала такну или отселяйте в 18 сына и устраивайте из своей квартиры плацдарм для встреч.