А он хочет вернуться, а не пришел-ушел. Он себе плюшки совместной жизни хочет. А не пришел\ушел, когда вам радость, а себе свое *мат*. Вот у вас и первое столкновение интересов. И тут он либо выльет на вас свое нутро в первые же месяцы, поняв, что вы держите его на пришел\ушел. Или если он продержится подольше, а вы сами расслабитесь  и захотите большего. Не вижу удачного для вас варианта. Особенно когда в прошлом такое, что и спустя два года вас морозило от него.