Нет, это не дурость. Это подлость и малодушие. Вам надо через себя перепрыгнуть, чтобы понять, что он сейчас чувствует. Потерял единственного родителя (вы не в счет), бабушку фактически потерял. Живет с чужими людьми, одна из которых его предала непонятно за что (стеснялись, наверное, что вам посторонние скажут на "ненормального" ребенка). Мне кажется, он еще мягко вам "мстит". И вам только терпеть и молчать.