если он  к этому серьезно отнесся и разочаровался в вас, я бы сказала ему как есть - знаешь, не знала , что для тебя это серьезно, неудачно пошутила, на самом деле мне все равно куда, лишь бы с тобой. Это,так сказать, схема, а уж как ее поднести, чтобы он услышал - ваша задача.