Faits : A. A.a. Par contrat de travail non daté, B._ Sàrl (ci-après: l'employeur), société avec siège à Genève et exploitant notamment l'établissement à l'enseigne " C._ ", a engagé A._ (ci-après: l'employé ou le travailleur), né en 1956, en qualité de serveur à partir du 1er juin 2008. Le contrat, conclu pour une durée indéterminée, prévoit un salaire mensuel brut de 5'000 fr., versé treize fois l'an, et un droit aux vacances de quatre semaines par année. A.D._ et son épouse B.D._ sont respectivement associé gérant et associée de B._ Sàrl. Il a été constaté que, depuis août 2010, A.D._ a adopté, de façon régulière et devant les clients, un comportement inutilement agressif, dépréciatif et même insultant à l'égard de son employé. Il a ainsi porté une atteinte grave à la personnalité du travailleur. A.b. Le 7 juillet 2011 dans la matinée, A.D._ a remis en mains de l'employé un courrier lui interdisant de prendre ses vacances à partir du 9 juillet 2011. Celui-ci soutient en avoir pourtant déjà parlé à A.D._ (en décembre 2010), puis à son épouse; A.D._ affirme n'en avoir eu connaissance que le 6 juillet 2011. L'employé admet avoir été pris, à la réception du courrier, d'une crise d'angoisse et de panique. Dans cet état d'énervement, il a brisé de la vaisselle et bousculé B.D._, la projetant au sol, pensant que celle-ci était à l'origine du conflit lié au refus de ses vacances. Les circonstances précises de l'altercation ne sont pas établies. On ne sait en particulier pas si la victime s'est avancée vers l'employé ou si au contraire c'est ce dernier qui a fait un pas vers elle pour ensuite la projeter au sol. La victime n'a subi que des égratignures superficielles. A.c. Par courrier recommandé du 8 juillet 2011, se référant aux événements s'étant déroulés le jour précédent, l'employeur a confirmé à l'employé son licenciement immédiat notifié oralement la veille. Par courrier recommandé du 5 août 2011, l'employé a contesté la validité du licenciement immédiat, estimant qu'il était injustifié. L'avocat consulté par l'employé, par lettre du 5 septembre 2011, a fait état du harcèlement moral dont son mandant avait fait l'objet pendant une longue période précédant le licenciement, ce qui a été contesté par l'employeur, par lettre du 13 septembre 2011. Depuis les événements du 7 juillet 2011, l'employé s'est trouvé pendant sept mois en incapacité (totale) de travail. Par rapport du 6 décembre 2011, E._, psychologue, spécialiste dans l'aide aux victimes d'infraction et experte psycho-judiciaire, a indiqué suivre l'employé depuis le 18 octobre 2011 après de graves difficultés sur son lieu de travail. En substance, elle pose le diagnostic d'épisode dépressif sévère et d'état de stress post-traumatique. Elle souligne que les symptômes correspondent à ceux résultant d'un traumatisme dû à des violences verbales et physiques. Elle attribue l'état de santé de son patient à son vécu sur le lieu de travail (soit plus précisément aux agissements de A.D._) avec une certitude à 100%, d'autres facteurs n'étant pas envisageables. B. Le 2 février 2012, l'employé a déposé en conciliation une demande en paiement concluant à ce que l'employeur soit condamné à lui payer, avec intérêts, 9'081 fr.55 (à titre de dommage au sens de l'art. 337c al. 1 CO), 32'662 fr.50 (à titre d'indemnité pour licenciement immédiat injustifié au sens de l'art. 337c al. 3 CO), 20'000 fr. (pour tort moral), ainsi qu'à lui remettre un certificat de travail correspondant à la version qu'il a proposée, sous suite de frais et dépens. Par décision du 2 mai 2013, le Tribunal des prud'hommes du canton de Genève a condamné l'employeur à payer au demandeur la somme nette de 5'000 fr. (pour tort moral), intérêts en sus, et à lui remettre un certificat de travail conforme à celui figurant dans le considérant 7 de la décision, les parties étant déboutées de toutes autres conclusions. Sur appel de l'employé et appel joint de l'employeur, la Chambre des prud'hommes de la Cour de justice du canton de Genève, par arrêt du 18 décembre 2013, a annulé le jugement attaqué, réduit le montant du tort moral à 3'000 fr., intérêts en sus, et apporté une modification au contenu du certificat de travail, les parties étant déboutées de toutes autres conclusions. C. L'employé exerce un recours en matière civile au Tribunal fédéral contre l'arrêt de la Cour de justice. Il conclut, sous suite de frais et dépens, à son annulation et il reprend les conclusions figurant dans sa demande, fixant toutefois à 15'000 fr. (et non 20'000 fr.) le montant requis à titre de tort moral. L'intimée conclut au rejet du recours, sous suite de frais et dépens.