Почему надо говорить либо белое, либо черное? Тем более, что совершенно неизвестно, что будет дальше в отношениях с этим мужчиной? К чему посвещать еще одного человека, пока, в принципе, постороннего? Можно же просто, но уклончиво ответить, если уж его так сильно интересует этот вопрос: отец моего ребенка в моей жизни был посторонним человеком. Если и сложаться дальше отношения и захочется рассказать, то Вы не врали, Вы сказали правду, но не полностью.