Expert systems for administrative decision making: evaluating applications
Authors: Johnson Chris , MacGregor James N. , Bish Robert L. 
Published: January 2008

Abstract: The introduction of expert systems to public administration has been viewed with both excitement and scepticism, and there has been considerable discussion and description of potential or actual applications. Much less common are reports that compare the decisions of an expert system with those of a human, making an empirical evaluation of the system possible. Such a comparison is described in this report.In 1990 the School of Public Administration at the University of Victoria began an experiment on the application of expert system technology to an administrative decision‐making process. The process chosen for the test was that of evaluating applicants for admission to the School's Master of Public Administration program. The experiment was set up so that the expert system's decisions could be compared with those of human decision makers, and those of the human decision makers compared with one another.The resulting system was tested on three groups of applicants, spanning a period of five years. In all three cases the results showed strong levels of agreement with the human decision makers. In fact, the expert system showed as high or higher levels of agreement with human decision makers as the human decision makers did with each other. Across the tests the system displayed three attributes that might be required of a viable operational system. It appears to be reliable, stable across time, and it does not require highly qualified or experienced staff to run it. It also appears to have the potential to treat applicants with greater consistency than might two different human decision makers.Sommaire: L'introduction de systèmes experts dans l'administration publique a été perçue à la fois avec enthousinsme et scepticisme. De nombreuses discussions et descriptions des applications effectives ou potentielles ont eu lieu. Les rapports comparant les décisions d'un système expert à celles des décideurs humains pour évaluer les systèmes de façon enipirique sont nettement nioins nombreux. Le présent rapport s'attaque à cette comparaison.En 1990, l'École d'administration publique amorça une expérience sur l'application de la technologie des systèmes experts au processus décisionnel administratif en sélectionnant de cette façon les candidats ati programme de maîtrise en administration publique. L'expérience a été organisée de manière à pouvoir comparer les décisions du système expert à celles des décideurs huniains et à pouvoir comparer entre elles les décisions de ces derniers.Le système ainsi Créé a été testé sur trois groupes de candidats sur Line période de cinq am. Dans les trois cas, les résultats ont révélé une forte concordance avec les décideurs Iiumains. En fait, le système expert se conformait autant ou plus aux décisions huniatnes que fes décisions humaines ne se conformaient les unes aux autres. Dans ces tests, le système a fait preuve de trois attributs que l'on devrait exiger de tout système fonctionnel viable. Il senible être fiable et stable dam le temps et n'exige pas, pour son opération, un personnel hautenient qualifié ou expérimenté. Par ailleurs, il semble avoir le potentiel de traiter les candidats de manière plus cohérents que ne pourraient le faire deux décideurs humains.