А вы относитесь к его уходам спокойно и с юмором. Не переживайте, близко к сердцу не принимайте. Относитесь к его отсутствию как к тайм-ауту. Заодно посмОтрите, как он будет реагировать на ваше спокойствие. Сценарий пора ломать, а то повторяющаяся ситуация загоняет ваши отношения в тупик.