Если очень упорный товарищ, то можно и уйти, я считаю, но обязательно продолжить разговор с того же места, когда он явится. А то вы зеркалите, он скандалит, в результате все равно добивается своего - вас не выслушал, себя слушать заставил, поэтому и эффекта нет.