Первая ваша реакция была именно такая - противопоставление интереса вообще интересу по принципу пола. Первая реакция чаще всего бывает самая информативная, если, конечно, собеседник понял, о чем речь. Но в данном случае это неважно, если вы в принципе утверждаете, что интерес к противоположному полу у вас присутствует