Faits: A. En 1998, X._ (ci-après: l'employé) a été engagé comme technicien en informatique auprès de Z._ SA (ci-après: Z._ ou l'employeuse), société avec siège à ... ayant notamment pour but la recherche, la fabrication, ainsi que le commerce de produits pharmaceutiques, chimiques, diététiques, hygiéniques et alimentaires. Il était chargé d'installer le matériel informatique, de le remettre en état en cas de défectuosité et de répondre à la hotline. Son dernier salaire mensuel brut s'élevait à 7'390 fr. L'employeuse dispose d'une "Charte d'utilisation des systèmes d'information du Groupe A.Z._" (ci-après: la Charte informatique). Cette Charte prévoit, en particulier, que "l'utilisation du système informatique est réservée, par principe à un usage professionnel. Toutefois une utilisation pour motifs personnels des systèmes d'information du Groupe peut être tolérée à condition notamment que cet usage ne puisse pas nuire aux intérêts du Groupe et se cantonne dans des limites de fréquence très modérées". Il y est également précisé que "tout échange et publication d'informations appartenant au groupe, à travers le réseau Internet, doit être soumis à l'autorisation préalable de la hiérarchie de niveau adéquat. Par ailleurs, afin de garantir la sécurité des Systèmes d'information du Groupe, l'ensemble des échanges réalisés par les utilisateurs peut être audité à tout moment". A la fin du mois d'octobre 2009, la direction générale de Z._ a reçu une lettre anonyme faisant état de dysfonctionnements et de comportements inappropriés au sein de la société. Le département informatique, notamment, y était mis en cause, ce courrier indiquant, entre autres, que des membres de l'équipe informatique avaient accès, sans droit, à certaines données et que des personnes avaient téléchargé des films et des programmes informatiques non autorisés. Cette lettre contenait, de plus, une liste des salaires de nombreux employés de l'entreprise. Afin de déterminer si les faits dénoncés s'étaient réellement produits, l'employeuse a mandaté le cabinet d'audit A._ pour conduire une enquête. A._ a été chargée de vérifier si des membres du service informatique avaient eu accès à des fichiers de salaires, des boîtes e-mail et des procès-verbaux de séances du conseil d'administration et de la direction, à des dossiers personnels des ressources humaines et à des téléchargements non autorisés. Le 2 novembre 2009, A._ a fait réunir le personnel des "groupes IP et support et applications" de Z._ pour lui exposer le déroulement des opérations à venir. L'employé était présent à cette occasion, parmi plusieurs autres membres de son service. Ensuite, A._ s'est fait remettre les ordinateurs fixes, les ordinateurs portables et les supports de données de l'ensemble des membres de l'équipe IP. A._ a obtenu et analysé notamment les ordinateurs et supports de données que l'employé lui a remis, après quoi elle a interrogé les collaborateurs du service concerné. Il résulte du rapport établi par A._, communiqué le 18 décembre 2009 à Z._, que le cabinet d'audit n'a trouvé aucune trace de la lettre anonyme précitée, ni de dossiers personnels des ressources humaines dans les ordinateurs et supports de données que lui a remis l'employé. En revanche, le rapport mettait en évidence que celui-ci possédait sur son disque dur diverses données non autorisées et qu'il avait échangé, en violation de la Charte informatique de l'employeuse, des courriels avec son épouse. Parallèlement à cette enquête, Z._ a mis en place une procédure de licenciement collectif. Il a été retenu que la mesure, qui était susceptible de concerner une trentaine de personnes, ne visait pas les membres du service informatique mais qu'elle touchait essentiellement les visiteurs médicaux sur le terrain. Le 10 novembre 2009, tous les employés de Z._ ont été informés que, finalement, vingt-quatre personnes seraient licenciées le 30 novembre 2009. Dans ce contexte, l'employeuse a élaboré un plan social. Par courrier du 18 décembre 2009, date à laquelle elle s'est fait remettre le rapport de A._, l'employeuse a licencié son employé, pour le 31 mars 2010, indiquant que le lien de confiance était rompu "en raison des faits mentionnés oralement". Il a été libéré de l'obligation de travailler durant le délai de congé. Le 20 janvier 2010, l'employé a adressé un courrier recommandé à Z._, dans lequel il contestait son congé, le qualifiant d'injuste. Il a demandé le bénéfice du plan social et une confirmation écrite des motifs du congé litigieux. B. Le 18 juin 2010, l'employé a saisi le Tribunal des prud'hommes du canton de Genève d'une demande en paiement. Il a conclu à ce que l'employeuse soit condamnée à lui payer 44'340 fr. à titre d'indemnité pour licenciement abusif, 90'063 fr. à titre d'indemnité fondée sur le plan social, et 10'000 fr. pour tort moral, intérêts en sus. L'employeuse devait en outre être condamnée à lui remettre un certificat de travail avec un contenu déterminé.