Faits:
A. X._ SA, dont le siège est à Genève, est active dans la tenue du secrétariat d'associations professionnelles du domaine de la construction, la défense des intérêts d'associations patronales de la construction et la gestion administrative de caisses de pensions et de compensations professionnelles, le calcul des salaires et l'établissement des fiches de paie, le conseil juridique et organisationnel aux membres des associations professionnelles et la comptabilité pour des tiers. Elle emploie une dizaine de personnes. Son capital-actions est détenu intégralement par A._, qui est son administrateur unique.
En décembre 2008, un grave conflit de travail est survenu au sein de X._ SA entre une employée, B._, et son supérieur hiérarchique direct, C._, bras-droit de A._. Incapable de travailler depuis mars 2009 pour cause de maladie, B._ a été adressée, en juin 2009, aux urgences psychiatriques de l'Hôpital D._.
B. Saisi d'une plainte déposée le 30 avril 2009 par B._, l'Office cantonal genevois de l'inspection et des relations du travail (ci-après: l'Office cantonal) a ouvert une enquête, qu'il a suspendue temporairement en mai 2009 à la demande de A._, qui souhaitait intervenir pour tenter un règlement à l'amiable entre les parties. B._ a refusé la proposition de médiation proposée par X._ SA et a donné son congé le 27 août 2009, en se plaignant de harcèlement moral de la part de son supérieur hiérarchique.
Dans son rapport du 15 octobre 2009, l'inspecteur chargé de l'enquête a conclu que le dispositif de gestion des conflits existant au sein de X._ SA était inefficace et impropre à garantir la protection de la santé des travailleurs contre les risques psychosociaux. Ce document est à l'origine d'un important litige entre X._ SA et l'Office cantonal, sur la façon dont l'enquête avait été menée, les faits établis et le rapport rédigé. Le directeur de l'Office cantonal a dû intervenir et a supprimé les allégations inexactes ou inappropriées figurant dans le rapport, tout en confirmant les conclusions prises.
Le 30 novembre 2009, X._ SA a indiqué à l'Office cantonal qu'elle disposait d'une procédure de conflits relevant du droit du travail faisant intervenir en premier lieu A._, qui était informé soit directement par l'employé concerné soit par d'autres employés. Celui-ci discutait avec les protagonistes et leur communiquait ses constatations. Si des tensions subsistaient, un médiateur était proposé. Si aucune solution n'était trouvée dans le cadre de la médiation, une procédure prud'homale pouvait être engagée par l'employé concerné.
Le 11 janvier 2010, l'Office cantonal a imparti un délai de trois mois à X._ SA pour lui faire parvenir un document décrivant les règles de procédure internes mises en place pour gérer hors hiérarchie les conflits de travail et toute forme d'atteinte à la personnalité et pour communiquer celles-ci à ses employés.
Le 25 janvier 2010, X._ SA a transmis la procédure mise en place, selon laquelle le personnel cherchait à résoudre directement le conflit avec la ou les personnes concernées. Si aucune solution satisfaisante n'était trouvée, le supérieur hiérarchique direct était sollicité pour un entretien. Si, dans les cinq jours ouvrables, l'action du supérieur ne donnait pas satisfaction ou si une des parties ne souhaitait pas l'intervention de celui-ci, le chef d'entreprise intervenait et entendait les parties dans les deux jours suivant la demande; il décidait des mesures qu'il jugeait adéquates. Si les parties n'étaient pas satisfaites, elles pouvaient recourir aux procédures prud'homales prévues à cet effet.
Le 9 février 2010, l'Office cantonal a indiqué à X._ SA que le processus proposé n'était pas conforme aux règles techniques contenues dans les directives du Secrétariat d'Etat à l'économie (ci-après: le SECO), car le recours à une personne de confiance hors hiérarchie n'était pas prévu par la procédure mise en place. X._ SA était priée de soumettre des règles d'intervention prévoyant cette possibilité. Celle-ci s'y est opposée et plusieurs échanges de courriers ont suivi.
C. Par décision du 16 août 2010, l'Office cantonal a imposé à X._ SA de concevoir et rédiger des règles d'intervention de personnes de confiance hors hiérarchie auxquelles le personnel pouvait s'adresser en cas de conflit pour des conseils et un soutien en vue de trouver une solution au problème, ainsi qu'à en informer les travailleurs; à défaut, il appartenait à X._ SA de démontrer que les mesures existant au sein de l'entreprise respectaient les exigences en matière d'hygiène au travail par une expertise technique réalisée aux frais de la société par un expert externe reconnu et indépendant de l'entreprise. Des délais étaient impartis à X._ SA pour s'exécuter.
X._ SA a recouru contre la décision du 16 août 2010 auprès du Tribunal administratif genevois (devenu, depuis le 1er janvier 2011, la Chambre administrative de la Cour de justice), qui a rejeté son recours par arrêt du 5 avril 2011. Un délai de quarante-cinq jours a été imparti à X._ SA pour transmettre à l'Office cantonal le dispositif demandé dans la décision du 16 août 2010 ou désigner un expert externe reconnu et indépendant de l'entreprise, choisi en concertation avec ses employés et l'Office cantonal; un délai de quatre mois supplémentaires était fixé pour la présentation à l'Office cantonal du rapport d'expertise.
D. A l'encontre de l'arrêt du 5 avril 2011, X._ SA forme un recours en matière de droit public au Tribunal fédéral. Elle conclut, sous suite de frais et dépens, à l'annulation de l'arrêt entrepris et à ce que la Cour de céans, statuant à nouveau, annule la décision de l'Office cantonal du 16 août 2010, puis constate que X._ SA ne doit pas concevoir et rédiger des règles précises d'intervention de personnes de confiance hors hiérarchie auxquelles le personnel peut s'adresser en cas de conflit, ni en informer les travailleurs, ni démontrer que les mesures existantes au sein de l'entreprise respectent les exigences en matière d'hygiène au travail par une expertise technique. Subsidiairement, elle propose le renvoi de la cause à la Cour de justice pour qu'elle statue à nouveau dans le sens des considérants.
La Cour de justice a déclaré persister dans les considérants et le dispositif de son arrêt. L'Office cantonal a répondu en concluant à la confirmation de l'arrêt attaqué, ainsi qu'au déboutement de toutes autres ou contraires conclusions. Au terme de ses observations, le Département fédéral de l'économie propose le rejet du recours.
Par ordonnance du 17 juin 2011, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours.
Considérant en droit:
1. 1.1 Le litige porte sur une mesure imposée à l'employeur en vue de protéger la santé des travailleurs en application de la législation sur le travail. La cause relève donc du droit public (art. 82 let. a LTF) et ne tombe pas sous le coup des exceptions de l'art. 83 LTF. Dirigé contre un arrêt final (cf. art. 90 LTF) rendu par une autorité judiciaire cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF), le recours en matière de droit public a été déposé dans les formes et le délai prescrits par la loi compte tenu des féries (cf. art. 42, 46 al. 1 let. a et 100 al. 1 LTF) par la société destinataire de l'arrêt attaqué, qui a qualité pour recourir au sens de l'art. 89 al. 1 LTF. Il convient donc d'entrer en matière.
1.2 La conclusion de la recourante, qui porte sur l'annulation de la décision du 16 août 2010 de l'Office cantonal, est toutefois irrecevable en raison de l'effet dévolutif complet du recours déposé auprès de la Cour de justice (ATF 136 II 539 consid. 1.2 p. 543, rappelé récemment pour Genève in arrêt 2C_436/2011 du 13 décembre 2011 consid. 1).
2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Le recourant ne peut critiquer ceux-ci que s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 134 V 53 consid. 4.3 p. 62) - ou en violation du droit au sens de l'art. 95 LTF (art. 97 al. 1 LTF), ce qu'il lui appartient d'exposer et de démontrer de manière claire et circonstanciée. La correction du vice soulevé doit en outre être susceptible d'influer sur le sort de la cause (art. 97 al. 1 in fine LTF). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. ATF 136 II 101 consid. 3 p. 104 ss, 489 consid. 2.8 p 494; 133 II 249 consid. 1.4 p. 254 ss).
Bien qu'elle rappelle ces principes, la recourante commence par présenter dans le détail sa version du conflit de travail impliquant B._, comme si le Tribunal fédéral était une instance d'appel. Une telle argumentation, qui revient à compléter librement l'arrêt attaqué, n'est pas admissible. Seules les critiques factuelles répondant aux exigences de motivation précitées méritent d'être examinées, à condition qu'elles soient susceptibles d'influer sur le sort de la cause.
3. La recourante invoque une violation des art. 29 Cst. et 9 Cst. Elle soutient qu'en refusant d'auditionner les témoins qu'elle avait requis afin d'établir, d'une part, que B._ n'avait pas été victime de mobbing ou insultée et, d'autre part, que le comportement inapproprié de l'inspecteur de l'Office cantonal avait conduit à un rapport comportant des contre-vérités, la Cour de justice aurait violé son droit d'être entendue et refusé de tenir compte de faits pertinents.
3.1 Les droits découlant de l'art. 29 al. 2 Cst. sont de nature formelle, de sorte que leur violation conduit à l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond. Il convient ainsi d'examiner ce grief en premier lieu (ATF 137 I 195 consid. 2.2 p. 197; 135 I 279 consid. 2.6.1 p. 285), sous l'angle du droit constitutionnel, dans la mesure où la recourante ne soutient pas que le droit cantonal de procédure lui offrirait une protection plus étendue.
3.2 Le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., comporte notamment le droit d'obtenir l'administration de preuves de nature à influer sur le sort de la décision à rendre. Il a pour corollaire que l'autorité doit en principe donner suite aux offres de preuve présentées en temps utile et dans les formes prescrites. Il n'y a toutefois pas violation du droit à l'administration de preuves lorsque la mesure probatoire refusée est inapte à établir le fait à prouver, lorsque ce fait est sans pertinence ou lorsque, sur la base d'une appréciation non arbitraire des preuves dont elle dispose déjà, l'autorité parvient à la conclusion que les faits pertinents sont établis et que le résultat, même favorable au requérant, de la mesure probatoire sollicitée ne pourrait pas modifier sa conviction (ATF 134 I 140 consid. 5.3 p. 148).
3.3 Pour déterminer si les faits à propos desquels la recourante a sollicité en vain des offres de preuves sont pertinents, il faut cerner l'objet de la présente procédure. Celui-ci porte sur le bien-fondé d'une mesure imposée à l'employeur en vue de protéger la santé de son personnel au sens de l'art. 6 de la loi fédérale du 13 mars 1964 sur le travail dans l'industrie, l'artisanat et le commerce (LTr; RS 822.11), prononcée initialement par l'Office cantonal. Cette autorité est chargée d'effectuer dans les entreprises les contrôles nécessaires pour s'assurer de l'observation des prescriptions en matière de santé au travail (cf. art. 79 al. 1 de l'ordonnance 1 du 10 mai 2000 relative à la loi sur le travail - OLT1 - RS 822.111; art. 3 de la loi genevoise sur l'inspection et les relations du travail du 12 mars 2004; RS/GE J 1 05); elle peut intervenir d'office ou être saisie à la suite d'une dénonciation d'un travailleur (art. 54 LTr; VINCENT CARRON, Mobbing et demeure de l'employeur, in Panorama en droit du travail, éd. Rémy Wyler, Berne 2009, p. 115 ss 130). L'autorité vérifie alors si l'entreprise respecte la LTr ou ses ordonnances et, si elle constate une infraction, elle invite l'entreprise, conformément à l'art. 51 al. 1 LTr, à se conformer à la prescription violée; c'est seulement lorsque le contrevenant ne donne pas suite à son intervention qu'elle prend la décision voulue (cf. art. 51 al. 2 LTr). La procédure prévue par l'art. 51 LTr se distingue ainsi d'une action déposée par un salarié s'estimant victime d'un acte de mobbing à l'encontre de son employeur et qui tend à obtenir une mesure protectrice le concernant directement en application de l'art. 328 CO ou de l'art. 4 de la loi fédérale sur l'égalité entre femmes et hommes du 24 mars 1995 (loi sur l'égalité; RS 151.1; pour le lien entre le droit public et le droit privé en matière de protection de la santé, cf. ATF 132 III 257 consid. 5 p. 259 ss). Le fait que l'autorité cantonale intervienne à la suite d'une dénonciation d'un salarié d'une entreprise ne change pas la nature de la procédure fondée sur l'art. 51 LTr, qui poursuit avant tout un but préventif (ROLAND A. MÜLLER, ArG Kommentar, 7e éd. Zurich 2009, n. 9 ad art. 6 LTr; LAURENT MOREILLON, Commentaire LTr, Berne 2005, n. 3 et 14 ad art. 51 LTr) et se déroule indépendamment de toute atteinte à la santé du dénonciateur.
En l'espèce, l'intervention de l'Office cantonal s'inscrit dans le cadre de la procédure de l'art. 51 LTr. Saisi d'une dénonciation de B._, l'autorité cantonale a mené une enquête sur les mesures de protection de la santé psychique du personnel mises en place par la recourante et en a conclu que ces mesures étaient insuffisantes. X._ SA a alors présenté un premier système de gestion des conflits le 30 novembre 2009, dans lequel le chef de l'entreprise intervenait prioritairement. Le 11 janvier 2010, l'Office cantonal lui a imparti un délai pour fournir un document décrivant des règles de procédure internes permettant de gérer hors hiérarchie les confits de travail. Le 25 janvier 2010, la recourante a présenté un système ne prévoyant que le recours au supérieur, puis au chef de l'entreprise. Considérant que ce processus n'était pas conforme aux règles techniques contenues dans les directives du SECO, l'Office cantonal a, le 9 février 2010, prié un nouvelle fois la recourante de lui soumettre des règles d'intervention prévoyant la possibilité pour les employés de se confier à une personne de confiance hors hiérarchie, exigence à laquelle la recourante s'est opposée. C'est seulement après avoir invité à plusieurs reprises la recourante à présenter un système conforme, que l'Office cantonal a prononcé, le 17 août 2010, une décision contraignante en vertu de l'art. 51 al. 2 LTr. Cette décision trouve donc son origine non pas dans le conflit B._, qui n'a été que l'élément déclencheur de l'enquête menée par l'Office cantonal, mais dans le refus de la recourante de proposer un système de conflit faisant intervenir une personne de confiance hors hiérarchie dans son entreprise.
L'objet du litige est donc indépendant de la question de savoir si, en 2009, B._ a ou non été victime d'actes de mobbing de la part de son supérieur hiérarchique et si, le cas échéant, la recourante peut en être tenue pour responsable en vertu de l'art. 328 CO. Cette problématique relève en effet du droit privé du travail et n'a pas à être tranchée dans la présente procédure. Par conséquent, c'est sans arbitraire que la Cour de justice a considéré qu'elle disposait de tous les éléments nécessaires pour statuer et que les faits en relation avec le cas de B._, ainsi que la façon dont l'enquête menée sur cette affaire avait été diligentée, étaient sans pertinence.
3.4 En refusant de donner suite aux offres de preuves portant sur l'affaire B._, les juges cantonaux n'ont donc pas violé l'art. 29 al. 2 Cst. Les circonstances de cette affaire n'étant pas déterminantes pour l'issue de la présente procédure, il n'y a pas lieu non plus d'examiner les griefs d'arbitraire (art. 9 Cst.) présentés par la recourante en relation avec ce litige, dès lors que ceux-ci ne seraient de toute façon pas de nature à influer sur le résultat de l'arrêt entrepris (cf. ATF 137 I 1 consid. 2.4 p. 5; 136 I 316 consid. 2.2.2 p. 318).
3.5 Il est toutefois regrettable, qu'après avoir constaté à juste titre la non-pertinence des faits en rapport avec B._, les juges cantonaux s'y soient référés, au terme de leur motivation, pour confirmer la gravité potentielle que le système proposé par la recourante faisait courir à son personnel. Dès lors que le Tribunal fédéral n'est pas lié par la motivation de l'arrêt attaqué, mais seulement par son dispositif (ATF 134 III 102 consid. 1.1 p. 104; 134 V 250 consid. 1.2 p. 252 et les arrêts cités) et qu'au demeurant, la référence à l'affaire B._ a été ajoutée à titre superfétatoire dans l'arrêt attaqué, il n'y a pas lieu de tenir compte de cet élément.
4. La recourante soutient en substance que l'exigence de nommer une personne de confiance hors hiérarchie qu'on lui impose ne repose sur aucune base légale. A titre subsidiaire, elle invoque une violation de la proportionnalité et de l'égalité de traitement.
4.1 L'art. 6 LTr prévoit que, pour protéger la santé des travailleurs, l'employeur est tenu de prendre toutes les mesures dont l'expérience a démontré la nécessité, que l'état de la technique permet d'appliquer et qui sont adaptées aux conditions d'exploitation de l'entreprise. Il doit en outre prendre toutes les mesures nécessaires pour protéger l'intégrité personnelle des travailleurs (al. 1). L'employeur doit notamment aménager ses installations et régler la marche du travail de manière à préserver autant que possible les travailleurs des dangers menaçant leur santé et du surmenage (al. 2). Les mesures de protection de la santé qui doivent être prises dans les entreprises sont déterminées par voie d'ordonnance (al. 4). La notion de protection de l'intégrité personnelle des travailleurs a été introduite dans la révision de la LTr de 1998 (FF 1998 II p. 1161), pour remplacer la notion de sauvegarde de la moralité de l'art. 33 al. 1er qui était valable uniquement pour les femmes. Dans son Message du 2 février 1994, le Conseil fédéral précisait que, contrairement à la disposition générale du CO sur la protection des travailleurs (art. 328 CO) et l'obligation de droit privé prévue dans le projet de loi sur l'égalité des sexes, qui obligeaient les personnes concernées à faire valoir leur droit en justice, ce qui était difficile tant que durait le contrat de travail, la règlementation de droit public prévue à l'art. 6 al. 1 LTr avait la prévention pour objet. Il relevait aussi qu'un bon climat de travail constituait la meilleure prévention, mais que d'autres facteurs étaient importants, tels qu'une bonne information et la possibilité pour les personnes concernées de trouver conseil et soutien auprès d'une personne de confiance (cf. FF 1994 II p. 177/178).
4.2 Il s'ensuit que, lors de la révision de la loi sur le travail de 1998, entrée en vigueur le 1er août 2000 (RO 2000 p. 1580), le législateur a instauré à l'art. 6 LTr une base légale pour prendre toutes les mesures nécessaires garantissant, d'une manière générale, la protection de l'intégrité de la personne. Il n'a certes pas mentionné les mesures concrètes à prendre dans les entreprises, celles-ci devant être déterminées, comme auparavant, par voie d'ordonnance (art. 6 al. 4 LTr). Ainsi, l'art. 2 al. 1 de l'ordonnance 3 du 18 août 1993 relative à la loi sur le travail (RS 822.113; OLT3) imposait déjà à l'employeur de prendre toutes les mesures nécessaires afin notamment de garantir la santé physique et psychique des travailleurs. Cette formulation vague permet de faire référence à l'état de la technique et à l'expérience qui évoluent en permanence (HANS-ULRICH SCHEIDEGGER/CHRISTINE PITTELOUD, Commentaire LTr, n. 12 ad art. 6 LTr; ROLAND A. MÜLLER, ArG Kommentar, 7e éd. Zurich 2009, n. 2 ad art. 6 LTr; CAROLE SONNENBERG, La protection de la personnalité du travailleur : sauvegarde de sa santé et sécurité au travail, thèse Lausanne 2010, p. 48 ss). Partant, pour déterminer de manière concrète quelles mesures doit prendre l'employeur pour protéger la santé psychique de ses salariés, il faut examiner non seulement les ordonnances, mais aussi les différentes recommandations et normes techniques correspondant aux standards de protection à prendre en considération au moment déterminant (cf. MÜLLER, op. cit., n. 7 ad art. 6 LTr).
A cet égard, le SECO, qui est l'autorité spécialisée du Département fédéral de l'économie ayant notamment pour objectif de contribuer à assurer la sécurité et la protection de la santé au travail (art. 5 al. 2 let. g de l'ordonnance sur l'organisation du Département fédéral de l'économie du 14 juin 1999; RS 172.216.1) est l'auteur de commentaires relatifs à la loi sur le travail et à ses ordonnances qui expliquent, au moyen d'exemples pratiques, comment interpréter et appliquer la législation. Ces commentaires ont valeur de directives (cf. art. 38 OLT3 au sujet des mesures d'hygiène). Ainsi, dans son commentaire concernant l'art. 2 OLT3 (annexe de mai 2011; document 302-A ss publié sur internet), le SECO a mis l'accent sur la prévention des risques psychosociaux au travail. A ce titre, il énumère certaines mesures importantes que l'employeur est tenu de prendre. Parmi celles-ci figure la désignation d'une personne interne ou externe de l'entreprise à laquelle les employés concernés peuvent s'adresser en cas de conflit. Il est précisé qu'il est important que cette personne de confiance dispose de la formation nécessaire et qu'elle ait un rapport de confiance avec les personnes qui demandent son conseil (obligation de garder le secret; absence de lien hiérarchique: cf. Commentaire SECO, op. cit., 302H). La désignation d'une personne de confiance à laquelle les salariés peuvent s'adresser est une mesure qui est aussi préconisée par la doctrine comme moyen de prévention du mobbing ou du harcèlement dans l'entreprise (cf. CARRON, op. cit., p. 128; JEAN-PHILPPE DUNAND, Le harcèlement psychologique (mobbing) en droit privé suisse du travail, RJN 2006 p. 13 ss, 32; MÜLLER, op. cit., n. 9 ad art. 6 LTr). Il s'agit d'ailleurs d'une mesure qui, comme on l'a vu (supra consid. 4.1) était déjà recommandée par le Conseil fédéral dans son Message du 2 février 1994 (FF 1994 II p. 178).
4.3 Au vu de cet examen, il faut admettre que, sous l'angle de la légalité, il est parfaitement possible d'imposer à une entreprise la désignation d'une personne de confiance dans le but de prévenir les conflits internes pouvant survenir en son sein. Comme le préconise le SECO, il est toutefois nécessaire que cette personne garantisse la confidentialité des entretiens qu'elle aura avec les salariés de l'entreprise et, si elle se trouve dans une structure interne déjà existante, qu'elle n'ait pas de rapports hiérarchiques avec les employés concernés. Reste à examiner si la mesure imposée comme standard à la recourante est adaptée aux conditions d'exploitation de l'entreprise. Cette question se confond avec celle de la proportionnalité qui sera examinée ci-après.
5. 5.1 La recourante considère que, pour une entreprise de moins de dix personnes dans laquelle aucune situation de mobbing ou de harcèlement sexuel n'a été révélée, il est disproportionné de lui imposer la mise en place de règles de conflit faisant appel à une personne de confiance hors hiérarchie et de l'obliger à informer les salariés de cette procédure.
5.2 Lorsque l'autorité d'exécution, faisant usage de sa compétence tirée de l'art. 51 LTr, contraint l'employeur à mettre en place les mesures de prévention nécessaires (cf. supra consid. 3.3), elle doit respecter le principe de la proportionnalité (cf. art. 2 al. 2 OLT3; cf. sur les composantes de ce principe en relation avec la protection des travailleurs, ATF 130 II 425 consid. 5.2). A ce sujet, la jurisprudence a précisé que les mesures que l'employeur est tenu de prendre en vertu de l'art. 6 LTr doivent être supportables économiquement et leurs coûts rester dans un rapport raisonnable avec leur efficacité, étant précisé que la protection de la santé demeure toujours la première priorité (ATF 132 III 257 consid. 5.4.4 p. 261). En d'autres termes, il faut que la mesure soit nécessaire, que l'état de la technique permette de l'appliquer et qu'elle soit adaptée aux conditions d'exploitation de l'entreprise. Comme déjà indiqué, l'appel à une personne de confiance est une mesure de prévention contre les atteintes à la santé psychique des travailleurs qui est non seulement mentionnée par le Conseil fédéral dans son Message du 2 février 1994 et par le SECO dans son commentaire à l'art. 2 OLT3, mais est aussi recommandée par la doctrine (cf. supra consid. 4.2 in fine). Force est donc d'admettre qu'elle constitue un moyen adapté à la prévention des conflits pouvant survenir dans une entreprise. La question de savoir comment cette méthode de gestion des conflits doit être mise en place est plus délicate et dépend de la structure de l'entreprise, ainsi que du nombre de salariés qu'elle emploie. On peut concevoir que, dans les petites ou moyennes entreprises, celles-ci s'adressent à leur association professionnelle respective pour mettre en place un système commun, à moins que leurs salariés aient la possibilité de faire appel à une structure déjà existante susceptible de traiter directement les problèmes ou de les déléguer à une personne compétente. Le but de la mesure étant axé sur la prévention, celle-ci doit pouvoir intervenir rapidement, avant que le conflit ne dégénère au point de devoir être traité par un tribunal. Il ne s'agit donc pas de mettre en place une structure compliquée et coûteuse, mais seulement de désigner une ou plusieurs personnes de confiance, hors hiérarchie, dans ou à l'extérieur de l'entreprise, à qui le personnel puisse s'adresser en toute connaissance de cause. Quant au devoir d'information des travailleurs sur les mesures de protection dans l'entreprise, il n'a pas à être remis en cause, car il constitue de toute façon une obligation légale expressément prévue aux art. 48 al. 1 LTr et 10 let. a de la loi fédérale du 17 décembre 1993 sur la participation (RS 822.14), qui doit être respectée même si l'entreprise ne comprend qu'un seul salarié.
En l'espèce, la mesure imposée à la recourante s'inscrit dans ce cadre et reste donc raisonnable par rapport à l'intérêt de l'entreprise, mais aussi de la société en général, de prévenir les atteintes psychiques, compte tenu de l'absentéisme, de la perte de productivité et des coûts qu'elles engendrent (cf. sur ces questions, JOHANNE GAGNEBIN, Prévention du stress au travail : un thème en évolution en Suisse et dans l'Union européenne, Jusletter du 29 janvier 2007, p. 3; MARIE DEVAUD-PLÉDRAN, Le harcèlement dans les relations de travail, Etude pluridisciplinaire de la question du harcèlement suivie d'une étude comparée entre le droit suisse et quelques législations étrangères, éd. CERT 2011, p. 106/107). La mesure litigieuse imposant à la recourante de désigner une ou plusieurs personnes de confiance hors hiérarchie et d'en informer son personnel n'apparaît dès lors pas disproportionnée.
5.3 La recourante prétend aussi que la mesure imposée serait contraire au principe de l'égalité de traitement (art. 8 Cst.), car elle devrait être imposée à toutes les entreprises présentant les mêmes caractéristiques. On a vu que la désignation d'une personne de confiance hors hiérarchie dans ou à l'extérieur de l'entreprise n'est pas une norme obligatoire en tant que telle, mais fait partie des standards reconnus auxquels renvoie l'art. 6 al. 1 LTr (cf. supra consid 4.2); les employeurs ont donc le choix soit de respecter cette mesure, soit de prévoir un système de gestion des conflits équivalent qui assure le même niveau de protection. La recourante s'est d'ailleurs vue offrir cette possibilité, mais en désignant son directeur et administrateur unique comme médiateur, sa proposition n'a pas pu être agréée par l'Office cantonal qui a estimé à juste titre qu'il ne pouvait pas s'agir de la personne de confiance à laquelle un employé de l'entreprise pourrait s'adresser librement. Le fait que toutes les entreprises de la catégorie de la recourante n'auraient pas mis en place de système de gestion des conflits relève de la motivation des chefs d'entreprise à prévenir les problèmes qui pourraient survenir avant l'intervention de l'autorité de surveillance (sur cette problématique, voir KARINE LEMPEN, Prévention et sanction du harcèlement sexuel, Les difficultés liées à la mise en oeuvre de mesures au sein des entreprises, in PJA 11/2006 p. 1432 ss). Il est sans pertinence par rapport à la situation de la recourante qui, elle, a fait l'objet de la procédure prévue à l'art. 51 LTr. Celle-ci ne saurait dès lors se plaindre d'une inégalité de traitement.
5.4 La recourante s'en prend enfin à l'alternative qui lui est offerte, soit la possibilité de désigner un expert externe reconnu et indépendant de l'entreprise pour démontrer que les mesures mises en place respectent les exigences en matière d'hygiène.
Selon l'art. 4 OLT3, les autorités peuvent demander à l'employeur de présenter un rapport d'expertise technique lorsqu'il existe de sérieux motifs de douter que les exigences en matière d'hygiène soient respectées. Un tel rapport peut être demandé non seulement sur les aspects de la santé physique, mais aussi sur la santé psychique.
Comme on l'a relevé, le système exposé par la recourante le 25 janvier 2010 impliquait qu'un employé se trouvant en conflit avec son supérieur hiérarchique ou avec un collègue doive s'adresser directement au chef de l'entreprise lui-même, sans avoir de personne neutre à qui se confier. Dans un tel cas, les autorités cantonales pouvaient retenir sans abuser de leur pouvoir d'appréciation qu'un tel système n'offrait pas des garanties d'objectivité suffisantes pour traiter les conflits et qu'au vu de la résistance de la recourante à mettre en place une structure adéquate, il se justifiait de lui imposer une expertise technique au sens de l'art. 4 OLT3.
6. Il découle de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité, avec suite de frais à la charge de la recourante (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué au mandataire de la recourante, à l'Office cantonal de l'inspection et des relations du travail du canton de Genève, à la Cour de justice du canton de Genève, Chambre administrative, 1ère section, et au Département fédéral de l'économie.
Lausanne, le 9 mai 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat