RESUMO  Objetivo: avaliar a concordância entre os enfermeiros na aplicação de um protocolo institucional de avaliação com classificação de risco em uma unidade de emergência hospitalar.  Método: estudo quantitativo de abordagem transversal e retrospectivo, realizado na unidade de emergência adulto de um hospital geral do Estado de Santa Catarina, baseado em fichas de atendimento. A coleta de dados ocorreu entre outubro e dezembro de 2013. A amostra fora constituída de 380 fichas de atendimento, selecionadas por aleatorização simples. O grau de concordância se determinou pelo coeficiente Kappa.  Resultados: a concordância geral entre os enfermeiros na aplicação do protocolo institucional foi substancial (Kappa=0,786) representando 331 (87,2%) fichas. Entre os níveis de classificação houve concordância quase perfeita para todos eles (Kappa=1 para o nível vermelho, Kappa=0,836 para o nível laranja, Kappa=0,884 para o nível amarelo, Kappa=0,865 para o nível verde e Kappa=1 para o nível azul).  Conclusão: a concordância geral na aplicação do protocolo institucional se mostrou substancial, sendo evidenciada uma concordância quase perfeita em todos os níveis de classificação. Houve superestimação e subestimação da classificação de risco em relação ao protocolo. Sugere-se que os enfermeiros que realizam a classificação de risco recebam treinamento por parte da instituição quanto à aplicabilidade do protocolo, a fim de minimizar a superestimação e subestimação da classificação de risco. Este trabalho contribui ao avaliar a aplicação de um protocolo novo implantado, com subsídios para uma melhor concordância na sua implementação por enfermeiros.

ABSTRACT  Objective: to assess the agreement among nurses in the application of an institutional assessment protocol with risk classification in a hospital emergency unit.  Method: quantitative and retrospective study of cross-sectional approach, carried out at the adult emergency unit of a general hospital in the State of Santa Catarina, based on medical records. The data collection took place between October and December of 2013. The sample consisted of 380 medical records, selected by simple randomization. The degree of agreement was determined by the Kappa coefficient.  Results: the general agreement among nurses in the application of the institutional protocol was substantial (Kappa=0.786) representing 331 (87.2%) files. Among the declassification levels, there was almost a perfect agreement for all of them (Kappa=1 for the red level, Kappa=0.836 for the orange level, Kappa=0.884 for the yellow level, Kappa=0.865 for the green level and Kappa=1 for the blue level).  Conclusion: the general agreement in the application of the institutional protocol was substantial, showing an almost perfect agreement at all levels of classification. There was an overestimation and underestimation of the risk classification in relation to the protocol. It is suggested that the nurses who perform the risk classification receive training from the institution regarding the applicability of the protocol, in order to minimize the overestimation and underestimation of the risk classification. This study contributes to assess the application of a new implanted protocol, with subsidies for a better agreement in its implementation by nurses.