Если вы с ним одна семья, то не надо. Его сын еще один член вашей семьи, какие могут быть вопросы - "жить семье вместе или нет"? Ерунда.А если вы с ним не одна семья, то объясните ему это, и живите спокойно без всяких нервотрепок. Одна или с бездетным мужчиной.