Ну так и скажите, что вместо того, что бы обсудить ситуацию, он цепляется к словам и Вас же - страдающую сторону - наказывает, а это некрасиво. Скажите, что Вы сказали от безысходности и на эмоциях, а раз он так уцепился, то значит ему нужен развод, так пусть он и разводится. Переверните ситуацию против него, пусть он и мучается