он не любит вас, похоже, и вы его раздражаете. Не обязательно, что есть любовница, просто он раздражительный и нетерпеливый человек, который в период влюбленности казался вам другим, а когда чувства остыли, появилось раздражение и придирки. Мой вам совет, перестаньте обращать на него внимание вообще, если он не взбесится от вашего равнодушия, значит скорее всего у него есть кто-то на стороне, если взбесится, то тогда права я.