Вы усложняете. Никаких отношений у Вас пока и нет, Вы попробовали поговорить и узнать лучше друг друга и вправе сказать, что не чувствуете, что он Вам интересен как партнер и не хотите тратить его и свое время на бесперспективное общение. Можно предложить иметь его в виду, если кто-то из ваших знакомых женщин будет искать приятного мужчину для отношений. Также из того, что Вы написали, не видно, что Вы ему очень-очень нравитесь: он бы запланировал что-то более интересное, нежели выпивку после работы, причем на ближайшее время. Предполагаю, что Вы не сильно  расстроите своего нового знакомого отказом продолжать общение. Удачи Вам!