А может у него проблемы со здоровьем в половой сфере? Спросите его об этом. Мужчины стыдятся этого и скрывают это. Поговорите по душам. И если он опять будет уходить от разговора и увиливать и продолжать жить как ни в чем не бывало, при грозите уйти, если и тогда не поможет, уйдите на время, а там видно будет.