"3.Он часто ночует в нашей с ним квартире, по выходным и праздникам мы вместе,да и отпуск тоже вместе;" - ваш первый пост.Часто ночевать  - не равно "жить одним домом".Это вам так хочется думать, что вы "фактически как семья". "Как" - это не есть однозначно "семья".А живёт, понимаете - ЖИВЁТ - он с женой и сыном.И квартира - не ваша с ним, а просто ВАША, куда он прихоидт иногда ночевать.И нет ничего необычного в вашем романе - просто дядька нашёл более молодую тётку, тело помоложе. История стара как мир.