Faits:
A. X._ a travaillé, dès le 1er février 2007, en qualité de responsable de la logistique hôtelière, pour le compte de la Fondation Y._ (ci-après: la Fondation) dont le siège se trouve sur le territoire de la commune ..., dans le canton de Neuchâtel. A partir du 4 juin 2008, il s'est trouvé en arrêt de travail en raison d'un syndrome d'épuisement professionnel et d'un épisode dépressif majeur, consécutif au burn-out, d'intensité moyenne à sévère.
Le 27 novembre 2008, la Fondation a résilié le contrat de travail de X._ pour le 28 février 2009. Le 13 février 2009, le travailleur a fait opposition au congé, invoquant son caractère abusif.
B. Le 17 décembre 2009, X._ a assigné la Fondation devant le Tribunal civil de l'arrondissement de la Broye (ci-après: le Tribunal civil), dans le canton de Fribourg où il est domicilié. Il a conclu au paiement, par la défenderesse, intérêts en sus, de 10'000 fr. en réparation du tort moral subi avant son licenciement, de 4'631 fr. 25 à titre d'indemnisation d'un préjudice (franchises et quotes-parts d'assurance-maladie restées à sa charge en 2008 et 2009), de 42'771 fr. 40 pour congé abusif et de 3'834 fr. 80 du chef des vacances non prises; il a requis, en outre, la délivrance d'un certificat de travail.
Dans sa réponse du 29 janvier 2010, la Fondation a soulevé une exception d'incompétence à raison du lieu et conclu à l'irrecevabilité de la demande.
Par jugement du 18 mai 2010, le Tribunal civil a admis cette exception et rayé la cause du rôle.
Statuant par arrêt du 10 janvier 2011, sur recours du demandeur, la IIe Cour d'appel civil du Tribunal cantonal du canton de Fribourg a confirmé ce jugement. Les juges d'appel en ont cependant rectifié le dispositif en ce sens qu'au lieu de rayer la cause du rôle, ils ont déclaré la demande irrecevable.
C. Le 28 février 2011, le demandeur a interjeté un recours en matière civile au Tribunal fédéral. Il conclut, en substance, à ce que l'arrêt du 10 janvier 2011 soit réformé, l'exception d'incompétence écartée et la compétence ratione loci du Tribunal civil constatée.
L'intimée propose le rejet du recours. Quant à l'autorité précédente, elle a renoncé à formuler des observations sur celui-ci.
Le 16 mai 2011, le recourant a déposé une écriture dans laquelle il se détermine brièvement sur le mémoire de réponse de l'intimée. En dépit de l'opposition de cette dernière, le Tribunal fédéral a versé la duplique au dossier, s'en expliquant dans une lettre à l'intéressée du 19 mai 2011.
L'effet suspensif a été accordé au recours par ordonnance présidentielle du 28 mars 2011.

Considérant en droit:
1. 1.1 Interjeté par la partie qui a soutenu en vain avoir valablement assigné son adversaire devant les tribunaux fribourgeois (<ref-law>) et dirigé contre une décision finale (<ref-law>) rendue en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire dont la valeur litigieuse atteint le seuil prescrit (<ref-law>), le présent recours en matière civile est recevable, puisqu'il a été déposé dans le délai (<ref-law> en liaison avec l'<ref-law>) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours est ouvert pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique ce droit d'office (<ref-law>). Il n'est pas lié par l'argumentation des parties, apprécie librement la portée juridique des faits, mais s'en tient, d'ordinaire, aux questions juridiques soulevées dans le mémoire de recours (<ref-law>; <ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.4.1 p. 254); il ne se prononce sur la violation de droits fondamentaux que si le grief correspondant a été invoqué et motivé par le recourant (<ref-law>; <ref-ruling> consid. 3.2 p. 88; <ref-ruling> consid. 2.2 p. 246; <ref-ruling> consid. 1.4.2).
Le Tribunal fédéral doit conduire son raisonnement juridique sur la base des faits constatés dans la décision attaquée (<ref-law>); en règle générale, les allégations de fait et les moyens de preuve nouveaux sont irrecevables (<ref-law>). Le tribunal peut compléter ou rectifier même d'office les constatations de fait qui se révèlent manifestement inexactes, c'est-à-dire arbitraires au sens de l'art. 9 Cst. (ATF <ref-ruling> consid. 1.1.2 p. 252), ou établies en violation du droit (<ref-law>). La partie recourante est autorisée à attaquer les constatations de fait ainsi viciées si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
2. Sans être contredite par les parties, la Cour d'appel a jugé le cas exclusivement à la lumière des dispositions de la loi fédérale sur les fors en matière civile du 24 mars 2000 (RO 2000 2355; ci-après: aLFors), qui a été abrogée par le Code de procédure civile du 19 décembre 2008 (CPC; RS 272), entré en vigueur le 1er janvier 2011 (cf. le ch. I. de l'annexe 1 à laquelle renvoie l'<ref-law>; RO 2010 1836). L'existence de l'<ref-law> paraît lui avoir échappé. Aux termes de cette disposition, "la compétence à raison du lieu est régie par le nouveau droit. Toutefois, la compétence conférée en application de l'ancien droit est maintenue". Autrement dit, si la cause en litige était déjà pendante lors de l'entrée en vigueur du CPC, l'exception d'incompétence ratione loci ne pouvait être accueillie qu'à la double condition que la compétence ne fût donnée ni en vertu de l'ancien droit (aLFors; principe de la perpetuatio fori, établi par l'art. 404 al. 2, 2e phrase, CPC) ni d'après le nouveau droit (CPC; principe de l'application immédiate du nouveau droit, institué par l'art. 404 al. 2, 1ère phrase, CPC; cf. <ref-ruling> consid. 1). A cet égard, il est admis que, si une décision d'irrecevabilité sujette à un recours cantonal ordinaire a été rendue avant l'entrée en vigueur du CPC, l'autorité de recours doit tenir compte des modifications des règles de compétence locale intervenues durant la procédure de recours (FREI/WILLISEGGER, in Commentaire bâlois, Schweizerische Zivilprozessordnung, 2010, n° 17 ad <ref-law>).
En l'espèce, le Tribunal civil a certes rendu son jugement le 18 mai 2010, avant l'entrée en vigueur du CPC. La IIe Cour d'appel civil, en revanche, a prononcé son arrêt le 10 janvier 2011, à un moment où le nouveau droit était déjà applicable. Aussi aurait-elle dû examiner le cas sous l'angle de ce nouveau droit également. Vrai est-il, toutefois, que les art. 9 à 46 CPC reprennent telles quelles, sous réserve de modifications ponctuelles, les règles de compétence locale qui figuraient dans l'aLFors (Message du 28 juin 2006 relatif au CPC, FF 2006 6878 ch. 5.2.2; FABIENNE HOHL, Procédure civile, tome II, 2e éd., 2010, n° 146). Or, à la lecture comparée des dispositions pertinentes de l'ancien et du nouveau droit, il n'apparaît pas que celui-ci serait plus favorable que celui-là sur le point litigieux, de sorte que le recourant pourrait en déduire un critère de rattachement spécifique - en l'occurrence, son domicile - qui aurait été ignoré de celui-là. Le CPC serait-il par hypothèse moins favorable que l'aLFors, l'intimée ne pourrait de toute façon pas s'en prévaloir à l'appui de son exception d'incompétence, vu le principe de la perpetuatio fori. Par conséquent, l'inadvertance commise par l'autorité précédente ne porte pas à conséquence. La question a du reste aussi échappé aux deux parties, qui la passent sous silence. Dès lors, l'examen du cas se limitera aux dispositions légales effectivement appliquées par les juges d'appel, c'est-à-dire aux règles de l'aLFors.
3. 3.1 Le recourant n'a pas introduit son action devant le tribunal neuchâtelois compétent ratione loci pour trancher les litiges en matière de droit du travail en vertu de l'art. 24 aLFors, c'est-à-dire au siège de l'intimée (...), qui était aussi le lieu où il accomplissait habituellement son travail, mais dans le canton de Fribourg, devant le tribunal d'arrondissement de son propre domicile. Pour ce faire, il s'est prévalu de l'art. 7 al. 2 aLFors en liaison avec les art. 12 let. a et 25 aLFors: la première de ces trois dispositions a trait au cumul objectif d'actions; elle prévoit que, si plusieurs prétentions présentant un lien de connexité sont élevées contre un même défendeur, chaque tribunal compétent pour connaître de l'une d'elles est compétent relativement à l'ensemble des prétentions; les deux autres permettent au demandeur d'introduire devant le tribunal de son domicile une action fondée sur une atteinte à la personnalité, resp. sur un acte illicite.
Selon le recourant, les différentes prétentions qu'il élève à l'encontre de l'intimée constituent un cumul entre des actions fondées sur le contrat de travail (indemnités pour congé abusif et vacances non prises, délivrance d'un certificat de travail) et une action à double fondement, contractuel et délictuel (réparation du préjudice et du tort moral découlant de l'atteinte à sa personnalité antérieure à son licenciement). Invoquant l'art. 7 al. 2 aLFors, qu'il dit être applicable tant au cumul d'actions qu'à une action à double fondement, le recourant soutient que le tribunal de son domicile, compétent pour connaître de l'action en responsabilité délictuelle qu'il a choisi d'exercer au titre de l'action à double fondement, l'est aussi pour juger toutes les autres prétentions découlant du contrat de travail qu'il lui a soumises.
3.2 Le point de vue du recourant n'a été partagé par aucune des deux juridictions fribourgeoises qui se sont occupées de l'affaire. Celles-ci ont cependant rejeté l'exception d'incompétence pour des motifs différents.
Les premiers juges ont retenu, en résumé, que la compétence à raison du lieu relevait de l'art. 24 aLFors dès lors que toutes les prétentions élevées par le recourant découlaient exclusivement des rapports de travail noués avec l'intimée. Il en allait, en particulier, ainsi des prétentions liées au harcèlement psychologique que le travailleur aurait subi avant de se faire licencier par l'intimée, prétentions que l'intéressé n'aurait très vraisemblablement pas fait valoir en justice s'il n'avait pas reçu son congé. L'<ref-law> permettait, d'ailleurs, de prendre en compte de telles atteintes à la personnalité du travailleur sans qu'il fût nécessaire de mettre en oeuvre les <ref-law>. Aussi, pour le Tribunal civil, tenter de rattacher les prétentions y relatives à la matière extracontractuelle revenait à user d'un artifice juridique en vue de contourner l'art. 24 aLFors et à seule fin d'attraire l'intimée devant le juge du domicile du recourant par le détour de l'art. 7 al. 2 aLFors.
Considérant le cas sous un autre angle, la cour cantonale s'est interrogée sur le point de savoir si le caractère partiellement impératif, au sens de l'art. 21 al. 1 let. d aLFors, des fors de l'art. 24 aLFors était compatible avec l'application de l'art. 7 al. 2 aLFors. Elle a répondu à cette question par la négative, à l'instar de ce qu'elle a estimé être l'avis majoritaire au sein de la doctrine, en précisant que cette réponse visait aussi l'hypothèse d'une action introduite par la partie dite faible, i.e. le travailleur. Partant, pour les juges d'appel, en cas de cumul d'actions et/ou d'action à double fondement, seul le tribunal du for prévu par l'art. 24 aLFors serait compétent pour connaître de l'ensemble des prétentions élevées. Le recourant aurait donc dû intenter son action dans le canton de Neuchâtel, en application de cette disposition, au lieu de saisir les tribunaux fribourgeois, incompétents à raison du lieu.
4. Il convient d'examiner d'abord la question soulevée par les juges d'appel. En effet, si la réponse que ceux-ci lui ont apportée devait être jugée conforme au droit fédéral, la décision d'incompétence attaquée ne pourrait qu'être confirmée, que la solution retenue par les juges de première instance fût correcte ou non.
4. Il convient d'examiner d'abord la question soulevée par les juges d'appel. En effet, si la réponse que ceux-ci lui ont apportée devait être jugée conforme au droit fédéral, la décision d'incompétence attaquée ne pourrait qu'être confirmée, que la solution retenue par les juges de première instance fût correcte ou non.
4.1 4.1.1 L'art. 24 aLFors règle la question du for des actions fondées sur le droit du travail; il prévoit que le tribunal du domicile ou du siège du défendeur ou le tribunal du lieu où le travailleur accomplit habituellement son travail est compétent pour connaître de telles actions (al. 1). Le législateur fédéral a rangé cette disposition dans la catégorie des fors partiellement impératifs, instituée par l'art. 21 aLFors. Ces fors découlent du concept de procès civil à caractère social (Message du 18 novembre 1998 concernant l'aLFors, FF 1999 2603 ch. 163) et visent à assurer la protection de la partie dite faible au contrat, tel le travailleur (art. 21 al. 1 let. d aLFors), en lui interdisant de renoncer à l'avance ou par acceptation tacite (Einlassung) aux fors prévus par la section 5 du chapitre 3 de l'aLFors; en revanche, ils ne s'opposent pas à une élection de for conclue après la naissance du différend (art. 21 al. 2 aLFors). Au demeurant, vis-à-vis du cocontractant de la partie dite faible, par ex. l'employeur, ces fors sont de nature dispositive: ainsi, la partie dite forte peut y renoncer à l'avance (arrêt 4C.29/2006 du 21 mars 2006 consid. 4.1 et les auteurs cités; YVES DONZALLAZ, Commentaire de la loi fédérale sur les fors en matière civile, 2001, p. 470) ou accepter tacitement un autre for (PATRICIA DIETSCHY, Les conflits de travail en procédure civile suisse, 2010, n° 101).
Le système des fors partiellement impératifs a été repris dans le CPC, qu'il s'agisse du principe de la renonciation aux fors légaux (art. 35) ou de la compétence à raison du lieu en matière d'actions relevant du droit du travail (art. 34 al. 1).
4.1.2 En l'espèce, le travailleur a assigné son ex-employeur devant le juge de son domicile, dans le canton de Fribourg, alors qu'il aurait dû introduire son action dans le canton de Neuchâtel où se trouvent les deux fors alternatifs de l'art. 24 al. 1 aLFors. Il est constant que la Fondation recherchée n'a pas accepté, même tacitement, de renoncer à ces fors et qu'il n'existait pas non plus une élection de for en faveur du tribunal du domicile du travailleur qui aurait pu lui être opposée. Au regard de la disposition citée, il se justifiait donc d'admettre l'exception d'incompétence ratione loci soulevée par l'intimée.
4.2 Il en irait différemment si, comme il le soutient, le recourant pouvait se prévaloir du for dérivé institué par l'art. 7 al. 2 aLFors et que les conditions d'application de cette disposition fussent réalisées in casu.
Les juges d'appel ont exclu, par principe, l'applicabilité de cette règle de for, quand bien même l'action avait été introduite par le travailleur, soit la partie faible au contrat. Ils n'ont pas fourni de justification particulière pour étayer leur décision, mais se sont contentés d'invoquer l'autorité de la doctrine, laquelle irait dans le même sens qu'eux. Or, les auteurs cités dans le corps de l'arrêt ne professent nullement de manière univoque l'opinion que leur prête la cour cantonale, voire, pour une majorité d'entre eux, s'en écartent résolument. Ainsi, PETER REETZ soutient que les règles générales en matière de for, tel l'art. 7 aLFors, ont le pas, notamment, sur les fors partiellement impératifs (in Kommentar zum schweizerischen Zivilprozessrecht, Bundesgesetz über den Gerichtsstand in Zivilsachen (GestG), 2001, n° 16 ad art. 7 aLFors). BALZ GROSS explique que les personnes protégées par l'art. 21 aLFors peuvent se prévaloir sans aucune restriction de l'art. 7 aLFors lorsqu'elles intentent une action à une personne non protégée par la règle semi-impérative (in Gerichtsstandsgesetz, Kommentar zum Bundesgesetz über den Gerichtsstand in Zivilsachen, 2001, n° 39 i.f. ad art. 21 aLFors). De même, THOMAS MÜLLER précise qu'il n'est pas possible de priver la partie faible au contrat d'un for partiellement impératif par le biais de l'art. 7 LFors, laissant ainsi entendre, a contrario, qu'il n'en va pas de même pour l'autre partie (in Gerichtsstandsgesetz, Kommentar zum Bundesgesetz über den Gerichtsstand in Zivilsachen, 2001, n° 47 ad art. 7 aLFors p. 171; dans le même sens, cf. ISAAK MEIER, Anspruchs- und Normenkonkurrenz im Gerichtsstandsgesetz, in Symposien zum schweizerischen Recht, Zum Gerichtsstand in Zivilsachen, 2002, p. 55 ss, 71). Quant à FRANZ KELLERHALS et à ANDREAS GÜNGERICH, ils ne prennent pas directement position sur la question controversée, sinon pour emboîter le pas à THOMAS MÜLLER et se distancier de PETER REETZ en tant qu'il prône l'application inconditionnelle de l'art. 7 aLFors, même en défaveur de la partie faible au contrat (in Gerichtsstandsgesetz, Kommentar zum Bundesgesetz über den Gerichtsstand in Zivilsachen, 2e éd. 2005, n° 24 ad art. 7 aLFors). En définitive, seul YVES DONZALLAZ semble favorable à la solution adoptée par l'autorité intimée lorsqu'il soutient qu'en l'absence d'une acceptation tacite ou d'une prorogation anticipée, les fors partiellement impératifs des art. 22 ss aLFors sont exclusifs (op. cit., n° 22 ad art. 21 aLFors p. 477; voir aussi: nos 5 à 7 ad Section 5 p 464 ss et n° 15 ad art. 21 aLFors p. 474).
S'agissant des références à la doctrine relative au nouveau droit, faites dans l'arrêt déféré, elles ne sont pas non plus propres à corroborer l'opinion des juges d'appel. En effet, tant MARC WEBER que NOËLLE KAISER JOB reprennent l'avis contraire, exprimé par THOMAS MÜLLER sous l'empire de l'ancien droit (in Commentaire bâlois, Schweizerische Zivilprozessordnung, 2010, n° 28 ad <ref-law>, resp. n° 12 ad <ref-law>), tout comme le font THOMAS SUTTER-SOMM et RAFAEL KLINGLER, non cités dans ledit arrêt (in Kommentar zur Schweizerischen Zivilprozessordnung (ZPO), 2010, n° 22 ad <ref-law>). Deux autres auteurs, enfin, considèrent - l'un expressément, l'autre de manière implicite - que la partie faible au contrat est en droit d'assigner la partie forte au for de la connexité visé par l'<ref-law> (MATTHIAS COURVOISIER, in Schweizerische Zivilprozessordnung (ZPO), 2010, n° 9 ad <ref-law>; DIETSCHY, op. cit., no 117).
Le système des fors partiellement impératifs, on l'a vu, a pour objectif de protéger la partie faible au contrat. C'est la raison pour laquelle il restreint la possibilité que pourrait avoir l'autre partie, étant donné sa position dominante, de contraindre son cocontractant à conclure une élection de for et à renoncer par avance à un for prévu par la loi. Dans la même perspective, il cherche à éviter que la partie faible, qui ne dispose souvent pas des connaissances juridiques nécessaires, singulièrement en matière procédurale, puisse se laisser attraire tacitement devant un for autre que ceux que prévoient les art. 22 ss aLFors. Cela étant, on ne discerne pas en quoi il serait contraire à la ratio legis de l'art. 21 aLFors de permettre à la partie faible au contrat d'invoquer l'art. 7 al. 2 aLFors pour intenter action à son cocontractant à un autre for que l'un des fors partiellement impératifs prévus par l'aLFors. Lui offrir une possibilité de choix supplémentaire pour agir en justice n'irait certes pas à l'encontre du but protecteur du système en question. Inversement, lui interdire pareille option au seul motif qu'elle fait partie de la catégorie des personnes sociologiquement plus faibles mentionnées à l'art. 21 al. 1 aLFors reviendrait à la désavantager par rapport à d'autres sujets de droit n'y figurant pas. Il serait ainsi difficilement justifiable qu'une personne physique victime d'un acte illicite soit privée de la possibilité de saisir le tribunal de son domicile du seul fait qu'elle est liée à l'auteur de cet acte par un contrat de travail (sous réserve de la réalisation des conditions de l'art. 7 al. 2 aLFors).
Par conséquent, il y a lieu d'admettre, contrairement à l'avis de l'autorité précédente, que le recourant était en droit de se prévaloir de l'art. 7 al. 2 aLFors.
Il reste à examiner si les conditions d'application de cette disposition étaient réalisées en l'espèce et, plus généralement, si le recourant était en droit de faire valoir ses prétentions à un autre for qu'à l'un des fors alternatifs de l'art. 24 aLFors, ce que les premiers juges ont nié.
5.1 5.1.1 Aux termes de l'art. 7 al. 2 aLFors, "lorsque plusieurs prétentions qui présentent un lien de connexité entre elles sont élevées contre un même défendeur, chaque tribunal compétent pour connaître de l'une d'elles est compétent".
L'application de cette disposition, reprise à l'<ref-law> avec quelques modifications textuelles, suppose l'existence d'un "cumul d'actions" (Klagenhäufung), comme son titre marginal l'indique, et, plus précisément, d'un cumul objectif, puisque les actions doivent être dirigées contre le même défendeur. Il y a cumul objectif lorsque divers objets sont simultanément réclamés, que ce soit en vertu de la même cause juridique ou sur la base de fondements juridiques distincts, par opposition à une réclamation unique s'appuyant sur plusieurs causes juridiques (concours d'actions, action à double fondement, réunion de plusieurs chefs de responsabilité dans la même personne, selon les différentes expressions utilisées par la doctrine de langue française; en allemand: Anspruchskonkurrenz ou Anspruchsnormenkonkurrenz).
Les diverses prétentions doivent se trouver dans un rapport de connexité. Selon la jurisprudence (<ref-ruling> consid. 2.2 p. 84), cette notion est comparable à celle qui figure à l'art. 22 al. 3 de la Convention du 16 septembre 1988 concernant la compétence judiciaire, la reconnaissance et l'exécution des réclamations en matière civile et commerciale (Convention de Lugano; la disposition citée a été reprise à l'art. 28 al. 3 de la Convention de Lugano révisée le 30 octobre 2007, RS 0.275.12). Sont donc connexes, les demandes liées entre elles par un rapport si étroit qu'il y a intérêt à les instruire et à les juger en même temps afin d'éviter des solutions qui pourraient être inconciliables si les causes étaient jugées séparément. Cette condition est réalisée dès lors que les prétentions reposent pour l'essentiel sur les mêmes faits ou fondements juridiques (DIETSCHY, op. cit., n° 116).
Il faut en outre - autres conditions usuellement admises et désormais codifiées à l'<ref-law> - que le même tribunal soit compétent à raison de la matière, relativement à toutes les prétentions, et que celles-ci soient soumises à la même procédure (DONZALLAZ, op. cit., n° 32 ad art. 7 aLFors; KELLERHALS/GÜNGERICH, op. cit., nos 9 à 11 ad art. 7 aLFors; MÜLLER, op. cit., nos 36/37 ad art. 7 aLFors), ce qui n'ira pas toujours de soi, notamment dans les cantons ayant institué des juridictions spécialisées pour régler les conflits en matière de droit du travail (cf., pour le nouveau droit: MARK LIVSCHITZ, in Schweizerische Zivilprozessordnung, (ZPO), 2010, n° 10 ad ad <ref-law>).
5.1.2 En l'espèce, le recourant élève trois prétentions déduites directement des rapports de travail noués avec l'intimée (paiement relatif à un solde de vacances, indemnité pour congé abusif et délivrance d'un certificat de travail). Ces prétentions relevant exclusivement du droit du travail, il ne pourrait pas les soumettre au tribunal de son domicile, puisque la loi ne prévoit pas un tel for pour ce type de prétentions (cf. consid. 4.1.2 ci-dessus). Cependant, il les a couplées avec les deux prétentions résiduelles (dommages-intérêts et indemnité pour réparation du tort moral afférents à un harcèlement psychologique subi avant son licenciement) qui seraient fondées, non seulement sur le contrat de travail, mais encore sur une atteinte illicite à sa personnalité (<ref-law> et 41 CO), prétentions qu'il aurait choisi de soumettre au juge de son domicile conformément aux art. 12 let. a et 25 aLFors (sur le champ d'application de ces deux dispositions en fonction de la nature de l'action, au sens de l'<ref-law>, choisie par le lésé, cf. ANDREAS MEILI, in Commentaire bâlois, Zivilgesetzbuch I, 4e éd. 2010, n° 16 ad <ref-law> et les références) . A supposer que ce dernier for lui soit ouvert, ce qu'il y aura lieu d'examiner ci-après (cf. consid. 5.2), les conditions d'application de l'art. 7 al. 2 aLFors seraient sans conteste réalisées: il existe, en effet, un lien de connexité indubitable entre les cinq prétentions élevées par le recourant à l'encontre de la même partie défenderesse. Au demeurant, le Tribunal civil serait compétent ratione materiae à l'égard de chacune d'elles pour rendre un unique jugement au terme d'une même procédure; de fait, la valeur litigieuse des prétentions ressortissant exclusivement au contrat de travail dépasse déjà la limite de 30'000 fr.; or, au-delà de cette limite, la compétence de jugement du Tribunal des prud'hommes était exclue, selon le droit applicable à l'époque de l'introduction de l'action, au profit de celle du Tribunal d'arrondissement (art. 26 al. 3 de la loi fribourgeoise du 22 novembre 1972 sur la juridiction des prud'hommes [aRSF 132.1], abrogée par l'art. 170 let. f de la loi du 31 mai 2010 sur la justice [RSF 130.1], en vigueur depuis le 1er janvier 2011); d'autre part et pour la même raison, la procédure simple et rapide de l'art. 343 al. 2 aCO, en soi applicable ratione temporis vu l'<ref-law> (cf. l'<ref-law> pour les procédures ouvertes après le 31 décembre 2010), n'entre pas en ligne de compte en l'occurrence.
5.1.2 En l'espèce, le recourant élève trois prétentions déduites directement des rapports de travail noués avec l'intimée (paiement relatif à un solde de vacances, indemnité pour congé abusif et délivrance d'un certificat de travail). Ces prétentions relevant exclusivement du droit du travail, il ne pourrait pas les soumettre au tribunal de son domicile, puisque la loi ne prévoit pas un tel for pour ce type de prétentions (cf. consid. 4.1.2 ci-dessus). Cependant, il les a couplées avec les deux prétentions résiduelles (dommages-intérêts et indemnité pour réparation du tort moral afférents à un harcèlement psychologique subi avant son licenciement) qui seraient fondées, non seulement sur le contrat de travail, mais encore sur une atteinte illicite à sa personnalité (<ref-law> et 41 CO), prétentions qu'il aurait choisi de soumettre au juge de son domicile conformément aux art. 12 let. a et 25 aLFors (sur le champ d'application de ces deux dispositions en fonction de la nature de l'action, au sens de l'<ref-law>, choisie par le lésé, cf. ANDREAS MEILI, in Commentaire bâlois, Zivilgesetzbuch I, 4e éd. 2010, n° 16 ad <ref-law> et les références) . A supposer que ce dernier for lui soit ouvert, ce qu'il y aura lieu d'examiner ci-après (cf. consid. 5.2), les conditions d'application de l'art. 7 al. 2 aLFors seraient sans conteste réalisées: il existe, en effet, un lien de connexité indubitable entre les cinq prétentions élevées par le recourant à l'encontre de la même partie défenderesse. Au demeurant, le Tribunal civil serait compétent ratione materiae à l'égard de chacune d'elles pour rendre un unique jugement au terme d'une même procédure; de fait, la valeur litigieuse des prétentions ressortissant exclusivement au contrat de travail dépasse déjà la limite de 30'000 fr.; or, au-delà de cette limite, la compétence de jugement du Tribunal des prud'hommes était exclue, selon le droit applicable à l'époque de l'introduction de l'action, au profit de celle du Tribunal d'arrondissement (art. 26 al. 3 de la loi fribourgeoise du 22 novembre 1972 sur la juridiction des prud'hommes [aRSF 132.1], abrogée par l'art. 170 let. f de la loi du 31 mai 2010 sur la justice [RSF 130.1], en vigueur depuis le 1er janvier 2011); d'autre part et pour la même raison, la procédure simple et rapide de l'art. 343 al. 2 aCO, en soi applicable ratione temporis vu l'<ref-law> (cf. l'<ref-law> pour les procédures ouvertes après le 31 décembre 2010), n'entre pas en ligne de compte en l'occurrence.
5.2 5.2.1 Le droit suisse reconnaît, en principe, au lésé un concours (alternatif) entre les prétentions résultant d'un acte qui est à la fois illicite et contraire à une obligation contractuelle. Le lésé bénéficie ainsi du régime qui lui est le plus favorable. Ce sera souvent celui de la responsabilité contractuelle, mais il se peut aussi que la victime de l'acte illicite préfère se mettre au bénéfice de la responsabilité délictuelle pour des raisons tenant notamment au for de son action (LUC THÉVENOZ, in Commentaire romand, Code des obligations I, 2003, n° 13 ad Intro. art. 97-109). La question du for applicable en cas de pluralité de fondements d'une même prétention n'en demeure pas moins des plus controversées en doctrine.
Sur deux points, la réponse à lui apporter ne devrait guère soulever de difficultés majeures. Il s'agit, en premier lieu, d'exclure la possibilité que le tribunal saisi ne puisse connaître que de l'élément de la demande reposant sur le fondement (délictuel ou contractuel) pour lequel sa compétence ratione loci est donnée, le demandeur étant renvoyé à agir devant un autre tribunal pour faire examiner la même prétention sous son autre fondement; le tribunal saisi doit se voir reconnaître le droit de considérer la prétention litigieuse sous tous les fondements susceptibles de l'étayer. Il importe, en second lieu, de faire respecter les fors partiellement impératifs de l'aLFors, pour les motifs sus-indiqués (cf. consid. 4.2), de sorte que, vis-à-vis de la partie faible au contrat, tel le travailleur, seuls ces fors-là (en l'occurrence ceux de l'art. 24 aLFors) pourront s'appliquer, sans égard au concours d'actions. En d'autres termes, l'employeur soi-disant victime d'un acte illicite du travailleur dans l'exécution du contrat de travail ne pourra pas attraire le défendeur devant le for de son domicile (i.e. le domicile du lésé) en invoquant l'art. 25 aLFors. Pour le reste, les opinions émises sur la question litigieuse se caractérisent par la plus grande diversité.
Les uns estiment que le demandeur peut choisir à sa guise le for rattaché à l'un ou l'autre fondement. Les tenants de cette solution la justifient du reste par des motifs variés. Certains la déduisent directement du principe iura novit curia, lequel commande au juge saisi d'examiner la prétention litigieuse sous tous ses fondements possibles (KURTH/BERNET, in Gerichtsstandsgesetz, Kommentar zum Bundesgesetz über den Gerichtsstand in Zivilsachen, 2e éd. 2005, n° 26 ad art. 25 aLFors). D'autres considèrent qu'elle va dans le sens de l'art. 7 al. 2 aLFors, relatif au cumul objectif d'actions, dont ils proposent une application extensive; selon eux, du moment qu'une pluralité de fors est offerte dans le cas où diverses prétentions sont émises, le même principe devrait s'appliquer, à plus forte raison, lorsqu'une seule prétention repose sur divers fondements (MEIER, op. cit., ibid.; FLAVIO ROMERIO, Anmerkungen zu Art. 25 und 27 GestG, in Symposien zum schweizerischen Recht, Zum Gerichtsstand in Zivilsachen, 2002, p. 75 ss, 78). On évoque aussi, à l'appui de ladite solution, le souci d'éviter que la victime d'un acte illicite soit moins bien traitée du seul fait que cet acte est intervenu dans le cadre de rapports contractuels, et l'on met en doute que l'auteur de l'acte illicite puisse exiger de bénéficier du for de son domicile de ce seul fait (DONZALLAZ, op. cit., n° 11 ad art. 25 aLFors). D'aucuns, enfin, se contentent de se rallier à ce qu'ils estiment être l'avis majoritaire, tout en concédant que l'opinion inverse repose, elle aussi, sur de bons arguments (SUTTER-SOMM/HEDINGER, in Kommentar zur Schweizerischen Zivilprozessordnung (ZPO), 2010, n° 15 ad art. 36). Au demeurant, certains des partisans de cette solution, que l'on pourrait qualifier de libérale, réservent l'hypothèse dans laquelle le choix du for constituerait un abus de droit (ROMERIO, op. cit., ibid.; KURTH/BERNET, op. cit., n° 27 ad art. 25 aLFors); ils préconisent, en outre, pour parer aux manoeuvres contraires à la bonne foi, une application moins automatique de la théorie des faits dits de double pertinence, qui veut que les allégations de la partie demanderesse soient déterminantes pour trancher la question de la compétence (cf. <ref-ruling> consid. 2.3 et 2.4).
D'autres auteurs, moins nombreux, considèrent que le for contractuel l'emporte toujours et est seul applicable (HEINRICH HEMPEL, in Kommentar zum schweizerischen Zivilprozessrecht, Bundesgesetz über den Gerichtsstand in Zivilsachen (GestG), 2001, n° 16 ad art. 25 aLFors; le même, in Commentaire bâlois, Schweizerische Zivilprozessordnung, 2010, n° 16 ad <ref-law>) ou, ce qui reviendra souvent au même, qu'il y a lieu de déterminer le for en fonction de l'aspect prépondérant de la prétention (DIETSCHY, op. cit., n° 107). Pour HEMPEL, la doctrine majoritaire ne tient pas suffisamment compte de la différence fondamentale existant entre un contrat et un acte illicite et, singulièrement, de ce que les rapports noués sur la base du premier résultent d'un acte conscient et volontaire des parties, contrairement à ce qui est le cas pour le second. L'auteur ne voit donc pas pourquoi l'on priverait une partie du for que le législateur a institué spécialement pour le jugement des différends issus du contrat en cause, au seul motif que la violation contractuelle remplirait aussi les conditions de l'acte illicite. A son avis, ce qui est déterminant et facile à établir, en définitive, c'est de savoir si l'acte illicite est à l'origine de la relation juridique qui s'est nouée entre les parties contre leur gré ou si cet acte est venu se greffer sur une relation juridique préexistante, fondée sur un contrat. Pour sa part, DIETSCHY propose d'appliquer la même solution qu'en matière de contrat mixte. Elle met l'accent sur le fondement principal de la prétention en cause, parce que c'est lui qui détermine le véritable objet du litige; à son avis, retenir l'accessoire comme déterminant pourrait amener le demandeur à fonder sa prétention sur une autre cause également, dans le seul but d'utiliser le for qui s'y rattache.
Il paraît difficile de trancher définitivement, en faisant abstraction du type de concours d'actions considéré, entre les deux solutions antagonistes en présence, qui comportent chacune des avantages et des inconvénients, et sont sujettes à de nombreux tempéraments ou exceptions. Il serait d'autant plus délicat de le faire que cela pourrait commander un réexamen plus général de la théorie du concours d'actions, qui n'est d'ailleurs pas restée incontestée (cf., parmi d'autres: FRANZ WERRO, La responsabilité civile, 2005, n° 1494 ss). La sécurité du droit dût-elle en pâtir, mieux vaut donc privilégier une approche circonstancielle, qui tienne compte de la nature des responsabilités invoquées et des éléments factuels allégués par le demandeur.
5.2.2 La cause en litige a trait à un contrat de travail, au sens des <ref-law>. Pour des motifs de politique sociale, entre autres considérations, le législateur fédéral a jugé bon de régler spécifiquement la compétence à raison du lieu en matière d'actions fondées sur un tel contrat (art. 24 al. 1 aLFors). De surcroît, il a attribué à cette réglementation un caractère semi-impératif, afin d'éviter que le travailleur ne se voie privé du for prévu par la loi (art. 21 let. d aLFors). Un grand nombre de cantons ont, en outre, introduit des juridictions spéciales en matière de droit du travail, à savoir des tribunaux de prud'hommes. De plus, certains des différends en ce domaine sont soumis à une procédure simplifiée et à la maxime inquisitoire sociale (art. 343 al. 2 et 4 aCO; art. 243 al. 1 et 247 al. 2 let. b ch. 2 CPC). De ces constatations, on peut inférer, sur un plan plus général, une volonté affirmée du pouvoir législatif de soumettre ce type de contrat à un traitement procédural particulier et, si possible, unifié. Pareille impression est du reste corroborée par la jurisprudence et la doctrine relatives à l'art. 343 al. 1 aCO. Il en appert le souci de voir la contestation en matière de contrat de travail tranchée dans son intégralité au for et selon les règles établis à cette fin, même lorsque la prétention litigieuse repose sur un double fondement, contractuel et délictuel, pour peu que le différend prenne sa source dans les rapports de travail (arrêt 4C.440/1995 du 6 mai 1997 consid. 7, in JAR 1998 p. 306; ADRIAN STAEHELIN, Commentaire zurichois, 1996, n° 7 ad <ref-law>; JÜRG BRÜHWILER, Kommentar zum Einzelarbeitsvertrag, 2e éd. 1996, n° 1 ad <ref-law> p. 460; ULLIN STREIFF/ADRIAN VON KAENEL, Arbeitsvertrag, 6e éd. 2006, n° 5 ad <ref-law> p. 917 i.f.). Il y a là de solides arguments en faveur de la solution qui fait prédominer, en règle générale, le for contractuel. Il s'agit aussi d'éviter que le fondement délictuel de l'action, qui sera souvent accessoire par rapport au fondement contractuel, ne serve qu'à attirer la partie défenderesse devant le tribunal du domicile du demandeur (forum shopping). Il ne paraît pas inconciliable, enfin, de renvoyer le travailleur à agir devant le for contractuel en cas de concours d'actions, à l'instar de l'employeur, tout en lui permettant d'assigner ce dernier devant le for de l'art. 25 aLFors, en vertu de l'art. 7 al. 2 aLFors, lorsqu'il élève contre lui diverses prétentions dont l'une repose sur un acte illicite commis en dehors du cadre des rapports de travail.
Appliquées au cas particulier, ces réflexions commandent de confirmer, sinon les motifs, du moins la décision d'irrecevabilité pour défaut de compétence ratione loci prise pas la IIe Cour d'appel. Le différend qui divise les parties prend racine dans les seuls rapports de travail noués par elles. Dès lors, il paraît raisonnable de le soumettre au tribunal chargé de connaître des actions relatives au contrat de travail, conformément à l'art. 24 aLFors, soit à la juridiction neuchâteloise compétente. Force est, d'ailleurs, de relever le caractère artificiel de la construction juridique échafaudée par le recourant à l'effet d'établir la compétence des tribunaux fribourgeois, dans la mesure où cette construction repose sur la combinaison de la règle touchant le cumul objectif d'actions et de celle que l'intéressé voudrait poser pour l'action à double fondement (ou concours d'actions). Ce caractère artificiel est illustré également par le fait que le recourant entend soumettre le même comportement de l'employeur - le prétendu harcèlement psychologique - à un régime juridique distinct (responsabilité délictuelle/responsabilité contractuelle) en fonction du critère purement contingent que constitue le moment où ce comportement a sorti ses effets (avant ou après le licenciement). Il n'est, au demeurant, pas certain que l'on ait véritablement affaire, ici, à une action à double fondement, s'il faut admettre, avec TERCIER/FAVRE/EIGENMANN (Les contrats spéciaux, 4e éd. 2009, n° 3521) qu'il y a de bons motifs pour appliquer la règle spéciale de l'<ref-law> lorsqu'elle est invoquée concurremment avec la règle générale de l'<ref-law>.
Cela étant, il y a lieu de rejeter le recours.
6. Le recourant, qui succombe, devra payer les frais de la procédure fédérale (<ref-law>), lesquels ne seront pas calculés conformément à l'art. 65 al. 4 let. c LTF puisque la valeur litigieuse dépasse 30'000 fr. Une indemnité pour les dépens de l'intimée sera également mise à la charge du recourant (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux mandataires des parties et à la IIe Cour d'appel civil du Tribunal cantonal du canton de Fribourg.
Lausanne, le 20 juin 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Carruzzo