Конечно может есть любовница (хотя мне кажется, что нет - иначе зачем ему на Вас дуться и выказывать свое фи). Но признайтесь, ведь Вам же все равно - есть у него кто то или нет? Вам же от мужа нужен только секс. А секса нет, но Вы можете сами его найти на стороне.  Обвините мужа в наличии любовника-любовницы и дайте этим самым себе индульгенцию на любовь на стороне. И поверьте, в Вашем случае, все будут только счастливы и горды за Ваше решение и удовлетворенное либидо.