Имхо, вам вообще нечего переживать, вы никому ничего не должны. Плевать на мужика, пофиг на его дальнейшую жизнь. Если встретитесь мельком, просто с пустым видом игнорировать, можно даже не здороваться. Если допустим он станет выражать эмоции, желание в чем-то разобраться, отвечать холодно, кратко, он же вам вроде не нужен, вы им не интересовались, ну и так дальше продолжать, мало ли с кем мы раньше общались.