С ним все в порядке. И с потенцией и с желанием. Очевидно его не устраивает секс именно с Вами. Судя по Вашим словам и Вам самой не так важно кто Вас будет иметь, раз задумываетесь о любовнике. И он наверное задумывается о любовнице. В этом плане у Вас паритет и согласие