English: It would not be possible to depend on the evaluations by this group for a viable Pay Equity result.151 [497] More specifically, Mr. Willis concluded the following: - the Commission allowed the Alliance to `cherry pick' the male comparator jobs by not including in its investigation any jobs not mentioned in the Complaint; the GS and GL&T group of employees was ignored; - the Hay Guide Chart-Profile system used should have been satisfactory as an evaluation instrument, provided the evaluators received adequate training; the Working Conditions factor which was apparently developed by Hay Canada provided for a wide range of points within each level or each sub-factor, thereby making it extremely difficult to evaluate consistently; there was evidence of mis-application of the Human Relations Skills sub-factor on a number of occasions; the evaluators discarded the Profile step (a means of checking the inter-factor relationships) in the evaluation process because the evaluators "were getting some rather strange profiles"152; the wording in the Accountability, Magnitude, and Impact sub-factors was arbitrarily changed by the evaluators during the evaluations, which could have modified ratings and caused inconsistency; - Benchmark job evaluations are appropriate for this case but should be representative of the jobs within the total group being evaluated and commonly understood by the evaluators - this was not done by the Commission; the Benchmarks should have been evaluated by the full Committee and not by two evaluators, independently; - the process of selecting position/job samples fell short of meeting the stringent sampling requirement needed for a "pay equity" project; the sampled jobs should represent a full range of the depth and breadth of the organization; they did not in this case; additionally, the reduction of the 194 to 93 samples of CR's could not be considered sound or objective; - the quality of job information utilized was unacceptable and could not be expected to produce a fair, equitable evaluation result; "...the Job Fact Sheet was hopelessly inadequate for Pay Equity evaluation purposes"; the job descriptions "...were only of minimal usefulness ... in support of the Job Fact Sheet..."; "...a 14-page Interview Guide, incorporated into the information provided to evaluators was more of a liability than an asset..."; the job data were collected at two different times, 1986 for the CR's and 1990/91 for the PO's;153 - while the PO `job specifications' came closer to providing factual job information, they were based on management and not employee-supplied data, and were acquired by a totally different process from that used for the CR's; - the Commission's sore-thumbing step was not a proper one - it should be a tightly structured, group-led comparison of the evaluations concerned, sub-factor by sub-factor and factor point level by factor point level. [498] Mr. Willis summarized the conclusions of his examination of the Professional Team's 1993/1994 evaluations as follows: - the Team "...misused the Hay evaluation plan by employing it as a factor comparison system"; - the Team used essentially the same inadequate job content information as was used by the Commission evaluators; - the Team was "...ill-equipped to successfully complete their charge due to their lack of knowledge and backgrounds to undertake the assignment, and due to an approach to the evaluations that lacked the necessary discipline.
French: [497] M. Willis a notamment conclu ce qui suit : - la Commission a permis à l'Alliance de « faire une sélection minutieuse » des emplois du groupe de comparaison à prédominance masculine en n'englobant pas dans son enquête des postes qui n'étaient pas mentionnés dans la plainte; elle n'a pas tenu compte du groupe Manuvre et hommes de métier; - le système des barèmes d'évaluation Hay utilisé aurait dû être satisfaisant comme instrument d'évaluation, à condition que les évaluateurs eussent reçu une formation adéquate; le facteur Conditions de travail, qui, apparemment a été élaboré par Hay Canada, prévoyait un large éventail de points dans chaque niveau ou dans chaque sous-facteur, rendant ainsi très difficile la réalisation d'une évaluation cohérente; des éléments de preuve démontrent qu'il y avait eu à un certain nombre d'occasions, application erronée du sous-facteur Aptitudes aux relations humaines; les évaluateurs ont rejeté l'étape du Profil (un moyen de vérification des relations entre les facteurs) du processus d'évaluation parce que les évaluateurs [Traduction] « avaient reçu certains profils qui étaient plutôt étranges152 »; le libellé des sous-facteurs Imputabilité, Magnitude et Incidence a été modifié de façon arbitraire par les évaluateurs durant les évaluations, ce qui a pu modifier les pointages et occasionner des incohérences; - des évaluations de postes repères sont opportunes en l'espèce mais elles doivent être représentatives des emplois au sein du groupe total évalué, tels qu'ils sont compris par les évaluateurs - cela n'a pas été fait par la Commission; les postes repères auraient dû être évaluées par l'ensemble du Comité et non pas par deux évaluateurs qui ont travaillé de façon indépendante; - le processus de sélection des échantillons de poste/emploi n'a pas du tout satisfait aux exigences rigoureuses en matière d'échantillonnage prévues dans le cadre d'un projet de « parité salariale »; les postes échantillonnés devraient représenter un éventail complet de la profondeur et de l'ampleur de l'organisme; ce ne fut pas le cas en l'espèce; de plus, la diminution de l'échantillon de 194 postes à 93 postes CR ne pouvait pas être considérée comme valable ou objective; - la qualité des renseignements sur l'emploi utilisés était inacceptable et on ne pouvait s'attendre à obtenir un résultat d'évaluation équitable; [Traduction] « [...] la Feuille de données sur l'emploi était absolument insuffisante si l'on voulait faire une évaluation en matière de « parité salariale »; les descriptions d'emploi [Traduction] « [...] étaient de peu d'utilité [...] à l'appui de la Feuille de données sur l'emploi [...] »; « [...] un Guide d'entrevue de 14 pages, incorporé dans les renseignements fournis aux évaluateurs était plus nuisible qu'utile [...] »; les données sur l'emploi ont été recueillies à deux époques différentes, 1986 pour les CR et 1990/1991 pour les PO153; - bien que les « particularités de l'emploi » PO ont presque réussi à fournir des renseignements concrets sur l'emploi, elles étaient fondées sur des données fournies par la direction et non pas sur des données fournies par les employés et elles ont été acquises au moyen d'un processus tout à fait différent de celui utilisé pour les CR; - l'étape de récapitulation de la Commission n'était pas une étape appropriée - il devrait s'agir d'une comparaison bien structurée, menée par un groupe, des évaluations visées, sous-facteur par sous-facteur et niveau de pointage des facteurs par niveau de pointage des facteurs.