Тут два варианта - либо у мужика с потенцией не очень, либо вы его не так уж и привлекаете как сексуальный объект, ему просто приятно ваше внимание и он таким образом хочет разнообразить рабочую рутину. Если вам хочется именно секса, то стоит ему прямо об этом сказать, например пригласить провести выходные где-нибудь за городом. Если откажется, то значит вы ему на самом деле нафиг не нужны. Про  отмазки типа у него жена и семья - это типичная фраза мужиков для отвода глаз, когда не хотят женщину обидеть.