Faits:
A. Le 1er mai 2002, Y._ (ci-après: l'employé) est entré au service de la banque X._ SA (ci-après: l'employeuse). La relation de travail était régie par le contrat ainsi que par le règlement du personnel et toutes les directives faisant partie intégrante du contrat. Parmi la réglementation interne figurait notamment une directive liée aux opérations pour compte propre destinée à exclure les conflits internes entre la banque, les collaborateurs et les clients et à éviter que les collaborateurs profitent de leur fonction professionnelle pour obtenir abusivement des avantages économiques personnels. Il existait également une directive intitulée "Déclaration de principe - Egalité/Harcèlement sexuel sur le lieu de travail" tendant à prévenir les comportements inappropriés sur la place de travail. Ladite directive prévoyait que, en présence d'une discrimination ou d'un harcèlement sexuel, la personne concernée était invitée à prendre contact avec son supérieur hiérarchique, un membre de la représentation des employés ou le département des ressources humaines compétent, et que "la personne de contact clarifie les faits - le cas échéant en ayant recours à des tiers compétents - et prend les mesures qui s'imposent".
Le 1er février 2007, l'employé a été muté dans une nouvelle agence. A cette occasion, il a reçu un certificat de travail intermédiaire au contenu élogieux tant au niveau de ses compétences professionnelles que des excellents contacts entretenus avec ses supérieurs, collègues et clients.
En été 2008, il a été reproché à l'employé d'avoir violé les règles de compliance et la directive interne sur les opérations pour compte propre. Une enquête diligentée à la suite de la découverte de transactions financières suspectes initiées par le collaborateur a mis à jour l'existence de deux opérations au bénéfice de son compte personnel en provenance d'un compte d'un de ses clients, ainsi que le dépôt, sur son compte, d'actions achetées par ce même client; ces opérations s'inscrivaient en violation de la réglementation interne. Dans le cadre de l'enquête menée par le département "Crime Risk Control", l'employé a expliqué que les transactions incriminées avaient été faites rapidement dans le but de réaliser une bonne opération, avec l'accord du client, sans que lui-même en retire un quelconque avantage. Le 29 août 2008, l'employeuse lui a adressé un avertissement pour avoir violé les règles de compliance et la directive interne liée aux opérations pour compte propre; il était précisé que "nous attendons dorénavant de votre part une très grande rigueur dans le traitement de vos affaires, ainsi qu'un strict respect des règles de compliance et des directives internes au sein de notre établissement. Si nous devions constater à l'avenir de tels manquements de votre part, nous nous verrions dans l'obligation de prendre d'autres mesures pouvant aller jusqu'au licenciement sans préavis".
Par courrier du 16 septembre 2008, l'employeuse a informé l'employé qu'il interviendrait dorénavant dans une autre équipe en qualité de conseil à la clientèle.
Début octobre 2008, une stagiaire s'est plainte auprès de sa hiérarchie d'un comportement inapproprié de l'employé à son endroit; d'après les propos rapportés par le directeur de l'agence, elle lui reprochait de la traiter régulièrement de "pétasse" et de "blondasse", de faire référence à sa couleur de cheveux pour la traiter d'idiote et d'insister sur son statut social lié à la position d'avocat de ses parents, la traitant de "pauvre petite fille riche", "née avec une cuillère d'argent dans la bouche" et "déconnectée de la réalité sociale"; elle s'était également plainte d'un comportement sexiste de l'employé à son endroit, à plusieurs occasions, notamment en lui offrant un chocolat en faisant une allusion à caractère sexuel ("prends donc un chocolat car tu dois être du genre à aimer les choses qui fondent dans la bouche") et en l'invitant à partager avec lui un massage et un jacuzzi; elle avait au surplus rapporté que l'employé lui avait fait part de ses frustrations sexuelles, dès lors que son épouse, enceinte de plusieurs mois, n'était plus disposée à combler ses désirs. Le responsable de l'agence, dépositaire de ces accusations, a alors déplacé la stagiaire auprès d'une autre agence et l'a invitée à prendre contact avec l'assistante sociale et les ressources humaines pour la suite idoine à donner à ce comportement, ceci conformément à la procédure interne. L'intéressée a alors rencontré l'assistante sociale à qui elle a réitéré ses accusations d'agissements sexistes. Aucun procès-verbal de cette séance n'a été tenu.
Le 28 octobre 2008, l'employé a été convoqué à un entretien auquel participaient l'assistante sociale et une responsable des ressources humaines. Les parties ont divergé sur les propos tenus à cette occasion. Selon la responsable des ressources humaines, l'employé n'aurait pas contesté les allusions sexistes perpétrées au préjudice de la stagiaire, mais les aurait minorées en relevant qu'elles devaient être mises dans leur contexte; de son côté, l'employé a soutenu avoir contesté, lors de cet entretien, avoir adopté un comportement sexiste désobligeant à l'endroit de la stagiaire, d'avoir fait une allusion à un chocolat "fondant dans la bouche" ou de l'avoir invitée à partager un massage ou un jacuzzi. Il a confessé avoir pu faire le matin même, avec l'ensemble de ses collègues, des plaisanteries au sujet de l'actrice Monica Bellucci, mais a nié que ces propos s'inscrivaient dans un contexte sexiste désobligeant. Aucun procès-verbal de cet entretien n'a été tenu. A l'issue de la séance, la responsable des ressources humaines en a rapporté le contenu à la direction de l'agence. Elle a ainsi indiqué que l'employé ne se rendait pas compte de la gravité des propos tenus auprès de la stagiaire dont il cherchait à banaliser la portée désobligeante et inadéquate. Il a alors été convenu de licencier l'employé. Aucune enquête interne n'a été diligentée et aucune confrontation n'a été ordonnée entre l'employé et son accusatrice. L'employeuse a considéré que, l'employé ayant admis les faits, il n'y avait pas lieu d'investiguer plus avant et que la décision de se séparer de lui était justifiée.
Le 29 octobre 2008, l'employeuse a licencié l'employé pour le 31 janvier 2009, au motif qu'il avait violé de façon répétée les règles de l'entreprise. L'employé a été en incapacité de travail pour cause de maladie du 5 novembre 2008 au 28 janvier 2009.
Le 20 novembre 2008, l'employé a requis de l'employeuse qu'elle lui communique copie de son dossier ainsi que de la plainte pénale déposée par la stagiaire à son encontre; le 3 décembre 2008, la banque lui a remis copie de toutes les pièces figurant dans son dossier personnel en indiquant qu'"aucun document relatif à une plainte n'était dans votre dossier".
B. Par demande du 18 décembre 2008, l'employé a assigné l'employeuse en paiement de 39'219 fr. 90 avec intérêts à titre d'indemnité pour licenciement abusif - correspondant à six mois de salaire. Par jugement du 31 juillet 2009, le Tribunal des prud'hommes du canton de Genève a débouté l'employé de fins de sa demande. Saisi par l'employé - qui avait repris les mêmes conclusions qu'en première instance - et statuant par arrêt du 9 août 2010, la Cour d'appel de la juridiction des prud'hommes du canton de Genève a annulé le jugement du 31 juillet 2009 et condamné l'employeuse à verser à l'employé la somme de 13'073 fr. 30 nets avec intérêts à 5 % dès le 31 janvier 2009.
La cour cantonale a retenu que, dans le cadre de la prévention du harcèlement sexuel sur le lieu de travail, l'employeuse avait mis en place une procédure adéquate, à la fois de soutien et de plainte. Quand bien même le texte de la directive était disert (sic) sur ce point, la procédure de plainte nécessitait la mise en oeuvre d'une enquête impliquant l'audition des personnes concernées, la consultation du dossier et l'établissement d'un rapport concluant la procédure d'enquête susceptible de générer des sanctions à l'encontre du comportement incriminé. La procédure d'enquête avait été sur ce point déficiente. L'enquête pouvait certes être menée par des responsables de la banque mandatés à cet effet (et non nécessairement par une instance externe), mais il convenait qu'elle fusse diligentée de façon complète, à savoir en donnant la possibilité à la personne incriminée de se déterminer sur les griefs de harcèlement sexuel, de consulter un dossier à cet effet et surtout de participer à une confrontation avec son accusatrice, ainsi que de pouvoir faire entendre des personnes susceptibles d'étayer ou d'infirmer les accusations portées à son endroit. Cette situation paraissait d'autant plus opportune que les collaborateurs travaillaient en open space et que la procédure avait démontré qu'aucun des témoins entendus dans le litige judiciaire n'avait relevé un quelconque comportement ambigu de la part de l'employé.
L'employeuse soutenait que la procédure d'enquête pouvait être déclarée close au motif que l'employé avait, à l'occasion de son entretien, reconnu les griefs portés à son encontre. Cet argument ne convainquait pas. Cette situation était en effet contestée par l'employé qui avait relevé avoir immédiatement nié les accusations de harcèlement sexuel auquel il se serait livré à l'endroit de la stagiaire. Selon les éléments requis dans la procédure, les accusations de harcèlement sexuel se référaient à l'épisode du chocolat fondant dans la bouche, à la participation à un jacuzzi et à une allusion à l'actrice Monica Bellucci. S'agissant de ce dernier épisode, on comprenait difficilement que la stagiaire ait pu se plaindre d'un comportement inapproprié de l'employé en relation avec la plastique de cette comédienne, dès lors que le commentaire auquel s'était livré l'employé avait eu lieu devant ses collègues, le matin de son interrogatoire, alors même que la stagiaire avait quitté l'agence en tous cas depuis quelques jours. Il était ainsi douteux qu'un agissement de harcèlement sexuel ait pu être effectué par l'employé envers la stagiaire en relation avec l'actrice.
Les juges cantonaux ont encore relevé que la responsable des ressources humaines avait indiqué que, à l'occasion de l'entretien du 18 octobre 2008, l'employé avait banalisé les accusations de harcèlement sexuel, ne comprenant pas qu'il avait adopté un comportement inadéquat et considérant que les propos qui avaient pu être tenus s'inscrivaient dans le cadre d'une camaraderie au sein de la relation de travail. De son côté, l'employé avait indiqué avoir contesté les accusations à caractère sexiste qu'on lui reprochait, considérant qu'on avait déformé ses propos. Il appartenait dès lors au responsable chargé de l'enquête de recueillir de façon probante la déposition des différents protagonistes, en particulier celle de la stagiaire qui avait initié la plainte ainsi que celle de l'employé qui était invité à se déterminer sur ses agissements indélicats. La tenue d'un procès-verbal lié à ces interrogatoires, voire confrontation, était également nécessaire pour l'établissement du rapport final sur lequel la personne incriminée pouvait se prononcer et faire valoir, le cas échéant, d'éventuels moyens de recours. Force était de constater que l'employeuse avait diligenté une procédure d'enquête incomplète, notamment en s'abstenant de protocoler les dépositions des protagonistes et de confronter leur position. En retenant pour acquis une reconnaissance des faits par la personne incriminée, alors même que cette dernière soutenait les avoir contestés, sans recourir à un quelconque protocole destiné à recueillir les dépositions des parties, l'employeuse n'avait pas fait preuve d'une diligence adéquate dans le traitement de cette situation. Dès lors que le licenciement était fondé sur la violation de la directive relative au harcèlement sur le lieu de travail que l'employeuse n'avait pas mise en oeuvre de manière adéquate, la licenciement devait être considéré comme abusif.
C. L'employeuse (la recourante) forme un recours en matière civile au Tribunal fédéral, concluant à l'annulation de l'arrêt du 9 août 2010 et principalement au déboutement de son adverse partie de toutes ses conclusions, subsidiairement au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants, très subsidiairement à la correction de la "l'erreur grossière de calcul" commise relativement à l'indemnité due. L'employé (l'intimé) propose le rejet du recours.
Considérant en droit:
1. Interjeté par la recourante qui a partiellement succombé dans ses conclusions libératoires (art. 76 al. 1 LTF) et dirigé contre une décision finale (art. 90 LTF) rendue en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 al. 1 LTF) dans une affaire dont la valeur litigieuse dépasse le seuil de 15'000 fr. applicable en matière de droit du travail (art. 74 al. 1 let. a LTF), le recours en matière civile présentement soumis à l'examen du Tribunal fédéral est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
2. Le recours en matière civile peut être formé pour violation du droit fédéral (art. 95 let. a LTF), y compris les droits constitutionnels (ATF 135 III 670 consid. 1.4; 134 III 379 consid. 1.2 p. 382). Saisi d'un tel recours, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), dont il ne peut s'écarter que s'ils l'ont été de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 135 III 127 consid. 1.5 p. 130, 397 consid. 1.5) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
3. La recourante reproche aux juges cantonaux d'avoir violé l'art. 336 CO.
3.1 Selon l'art. 335 al. 1 CO, le contrat de travail conclu pour une durée indéterminée peut être résilié par chacune des parties. En droit suisse du travail prévaut la liberté de résiliation, de sorte que, pour être valable, un congé n'a en principe pas besoin de reposer sur un motif particulier. Le droit fondamental de chaque cocontractant de mettre unilatéralement fin au contrat est cependant limité par les dispositions sur le congé abusif (art. 336 ss CO; ATF 131 III 535 consid. 4.1 p. 538).
L'énumération prévue à l'art. 336 CO - qui concrétise avant tout l'interdiction générale de l'abus de droit et en aménage les conséquences juridiques pour le contrat de travail - n'est pas exhaustive et un abus du droit de mettre un terme au contrat de travail peut également se rencontrer dans d'autres situations qui apparaissent comparables, par leur gravité, aux cas expressément envisagés à l'art. 336 CO. Le caractère abusif d'une résiliation peut découler non seulement de ses motifs, mais également de la façon dont la partie qui met fin au contrat exerce son droit. Même lorsqu'elle résilie un contrat de manière légitime, la partie doit exercer son droit avec des égards; une violation grossière du contrat, par exemple une atteinte grave au droit de la personnalité (cf. art. 328 CO) dans le contexte d'une résiliation, peut faire apparaître le congé comme abusif (cf. ATF 132 III 115 consid. 2.1 p. 116 s. et 2.2 p. 117; 131 III 535 consid. 4.2 p. 538 s.).
En application de l'art. 8 CC, c'est en principe à la partie qui a reçu son congé de démontrer que celui-ci est abusif, au besoin sur la base d'un faisceau d'indices convergents (cf. ATF 130 III 699 consid. 4.1 p. 703).
3.2 La recourante fait notamment grief à la cour cantonale de ne pas avoir recherché si les motifs du congé étaient ou non abusifs, mais de s'être contentée de lui reprocher de ne pas avoir fait preuve d'une diligence adéquate dans le traitement de la situation; en bref, elle soutient que la loi ne prescrirait pas de procédure spécifique permettant de constater le harcèlement avant le licenciement du harceleur, qu'il conviendrait de vérifier dans chaque cas d'espèce si les droits de la personnalité de l'intéressé ont été respectés et qu'à défaut de règles explicites, l'employeur devrait se voir reconnaître une marge de manoeuvre et une latitude de jugement pour déterminer la meilleure voie possible.
En l'occurrence, la directive topique dispose seulement, de manière très succincte, que "la personne de contact clarifie les faits - le cas échéant en ayant recours à des tiers compétents - et prend les mesures qui s'imposent"; comme la recourante le souligne à juste titre, elle ne prévoit ainsi pas formellement différentes étapes de la procédure qui devraient être précisément et impérativement suivies. De ce fait, la cour cantonale ne pouvait pas considérer que le licenciement était abusif du simple fait que l'employeuse n'avait pas respecté la procédure interne qu'elle avait elle-même mise sur pied. En effet, de deux choses l'une: soit l'intimé avait - comme le soutient la recourante - admis les faits, auquel cas il n'y avait pas lieu de pousser plus avant les investigations et de continuer la procédure, soit - comme le plaide l'intimé - il les avait contestés, hypothèse dans laquelle l'employeuse se devait de clarifier la situation. Or, la cour cantonale s'est limitée à exposer la version des faits de chacune des deux parties, mais n'a pas tranché la question de savoir si l'intimé avait ou non admis les faits lors de l'entretien du 28 octobre 2008; il convient donc qu'elle statue sur ce point. Pour le cas où elle parviendrait à la conclusion que l'intimé a contesté les faits, il lui incomberait d'établir ce qui s'est réellement passé, à savoir si les reproches de la stagiaire étaient fondés. Dans l'affirmative, le congé ne saurait être tenu pour abusif, tandis que dans la négative, il s'agirait de retenir l'existence d'un abus tenant au fait d'avoir licencié un employé sur la base de faits non avérés.
Le grief doit ainsi être admis, ce qui entraîne l'annulation de l'arrêt attaqué et le renvoi de la cause aux juges cantonaux pour nouvelle décision dans le sens des considérants. Cela étant, il n'est pas nécessaire d'examiner la recevabilité et le bien-fondé des autres critiques de la recourante. Le recours est donc admis dans la mesure de sa recevabilité.
4. Comme la valeur litigieuse, calculée selon les prétentions à l'ouverture de l'action (ATF 115 II 30 consid. 5b p. 41), dépasse le seuil de 30'000 fr., le montant de l'émolument judiciaire est fixé selon le tarif ordinaire (art. 65 al. 3 let. b LTF) et non réduit (art. 65 al. 4 let. c LTF). Compte tenu de l'issue du litige, les frais judiciaires et dépens de la recourante doivent être mis à la charge de l'intimé, qui succombe à cette étape de la procédure (art. 66 al. 1 ainsi qu'art. 68 al. 1 et 2 LTF; cf. ATF 133 V 450 consid. 13 p. 471; 132 V 215 consid. 6.2 p. 235).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis dans la mesure où il est recevable et la cause est renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimé.
3. Une indemnité de 2'500 fr., à payer à la recourante à titre de dépens, est mise à la charge de l'intimé.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Cour d'appel de la juridiction des prud'hommes du canton de Genève.
Lausanne, le 1er décembre 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Cornaz