Вам обоим надо, потому что и вы, и он своей шуткой задели друг друга за больное место  и ему бы инициировать, ибо первым шутканул он. Не могу прочувствовать ваши эмоции, я бы не оскорбилась даже, если честно, но у вас вышло иначе.