Faits :
A.
A.a. A._ exerce la profession d'avocat inscrit au Barreau à Genève. Il est associé dans un rapport de société simple au sein de l'Etude d'avocats Z._ (ci-après: l'Etude), avec C._.
B._, titulaire d'un baccalauréat et d'une maîtrise universitaires en droit, a effectué une mission de courte durée entre le 9 et le 14 août 2017 au sein de l'Etude. Les associés de l'Etude ont établi un certificat de travail élogieux.
A.b. Par contrat de travail du 3 novembre 2017, B._ a été engagée par A._ en qualité d'avocate stagiaire à plein temps, dès le 6 novembre 2017, pour une rémunération brute de 3'500 fr. versée treize fois l'an. Le contrat prévoyait qu'il prendrait fin " à l'obtention du brevet d'avocat ". Selon l'accord intervenu entre les parties, B._ présenterait cet examen à la session du 28 novembre 2018, soit au terme de douze mois de stage en l'Etude. Le contrat précisait qu'en principe, A._, en tant que maître de stage, corrigerait et signerait toute correspondance ou écriture rédigée par sa stagiaire.
Le contrat renvoyait au surplus à la Charte du stage de l'Ordre des avocats genevois, laquelle stipule les obligations du maître de stage en matière de formation (art. 7) et de suivi régulier du stage (art. 8) ainsi que les obligations du stagiaire en matière de travail consciencieux et de respect scrupuleux des règles de la profession (art. 9).
A.c. Le 30 mai 2018, une altercation a eu lieu entre B._ et D._, administrateur de l'Etude et xxx.
A.d. Le 31 mai 2018, un nouveau différend a opposé D._ et B._, selon cette dernière. B._ a ensuite envoyé un SMS à C._, l'informant qu'elle se trouvait dans un café à côté de l'Etude car elle ne se sentait pas en sécurité seule avec D._. Elle lui demandait de l'appeler à son arrivée à l'Etude. Par la suite, elle lui a écrit qu'elle n'était pas en état de revenir travailler.
Par constat médical du 12 septembre 2018, la Dresse E._ a certifié que le 31 mai 2018, B._ s'était présentée à son cabinet en état de stress psychique intense provoqué par une altercation sur son lieu de travail.
A.e. D'après B._, elle a eu un nouveau différend avec D._ le 5 juin 2018.
A.f. Le 6 juin 2018, en fin de journée, au cours d'une réunion entre A._, C._ et B._, un avertissement écrit a été remis à cette dernière.
Ce document, signé par les deux associés, faisait état, en accord avec plusieurs communications orales antérieures, de leur mécontentement relatif à la qualité du travail de B._, " surtout au plan rédactionnel ", situation qui ne s'était pas améliorée depuis le début du stage. En substance, ce courrier se référait à des plaintes de clients quant au comportement de B._ ou à des fautes dans les écritures. Elle n'avait en outre pas respecté les délais internes pour la remise d'écritures judiciaires, lesquelles ne présentaient au surplus pas une qualité suffisante, tant sur la forme que sur le fond. Elles semblaient souvent " bâclées " et guère améliorées après corrections, ce qui avait entraîné " des retards et difficultés inacceptables dans la finalisation de ces écritures, soumises à des délais légaux ". Il lui était également reproché de ne pas travailler avec suffisamment de célérité et de ne pas suivre certaines publications importantes en matière de respect des délais. Le texte se terminait ainsi: " Sans une [...] amélioration [sensible et immédiate de la qualité de votre travail] il sera mis fin à votre stage en l'Etude sans autre avertissement. "
B._ a signé ce document en y apposant la mention " Reçu mais contesté ".
A.g. Le 7 juin 2018, B._ a travaillé jusqu'à midi. Elle a affirmé s'être assurée par téléphone qu'aucune permanence n'avait été attribuée par le Tribunal administratif de première instance à C._. Elle a averti F._, secrétaire, qu'elle rentrait chez elle pour se soigner car elle ne se sentait pas bien. Celui-ci lui a assuré qu'il en informerait A._.
A 14h52, B._ a envoyé à A._ un SMS à la teneur suivante: " Hello A._, je suis rentrée comme te l'a dit F._ car je ne suis pas en état de travailler. "
Aucun dossier de permanence n'a été confié à un des associés de l'Etude ce jour-là.
A.h. Le même jour, dans l'après-midi, le secrétariat de l'Etude a adressé une lettre de licenciement à B._ par courriel et envoi postal. Elle faisait état de ce qui suit:
" Chère B._,
Suite à l'avertissement qui vous a été remis hier soir, nous avons discuté, avec vous et Me C._, des éléments qu'il comporte.
Aujourd'hui, vous avez quitté l'Etude sans autorisation ni demande de votre part, avant midi, alors que j'étais en entretien avec un client et que Me C._ était en audience au titre de la permanence de la première heure.
Vous saviez que nous avions en plus, cet après-midi, deux audiences concurrentes et une permanence des mesures de contraintes au Tribunal administratif de première instance. Nos instructions étaient que vous restiez disponible pour nous suppléer à l'Etude.
Me C._ vous avait donné pour instruction de vérifier avec le greffe du Tribunal administratif de première instance si des cas pouvaient se présenter. Vous ne lui avez pas fourni de réponse.
Or, à 14h15, nous n'avons plus de nouvelles de votre part et ne savons pas où vous vous trouvez.
Votre comportement est incompatible avec les obligations fondamentales de l'exercice de notre profession, notamment en ce qui concerne la diligence requise.
Votre abandon de poste, dans les circonstances actuelles, constitue une faute particulièrement grave qui touche votre aptitude même à exercer la profession pour laquelle vous vous formez.
Pour ce motif, votre contrat de stage à l'Etude prend fin avec effet immédiat.
Vous êtes sommée de nous restituer les clés de l'Etude d'ici ce jour, 19h00, à défaut de quoi des mesures devront être prises pour changer les serrures, à votre charge [...]. "
A.i. Ce même 7 juin 2018, B._ a adressé à A._, par courrier recommandé, une copie d'un certificat médical du 6 juin 2018, attestant une incapacité totale de travailler du 7 au 30 juin 2018 pour cause de maladie. Ce courrier a été reçu le 8 juin 2018.
A.j. A partir du 2 août 2018, B._ a été engagée dans l'enseignement obligatoire. Du 1er octobre 2018 au 22 mai 2019, elle a poursuivi son stage d'avocate auprès de l'étude de Me G._, lequel lui a délivré un certificat de travail élogieux.
B.
B.a. Après une tentative infructueuse de conciliation, B._ a saisi le Tribunal des prud'hommes du canton de Genève d'une demande à l'encontre de A._ en vue d'obtenir le paiement de la somme totale de 41'676 fr. avec intérêts. Cette dernière se composait d'un montant à titre de différence de salaire pour la période du 5 mai 2018 au 22 mai 2019, d'une indemnité pour licenciement immédiat injustifié et d'une indemnité pour atteinte à la personnalité.
Entendu comme témoin, C._ a déclaré qu'il avait su le 6 juin 2018 déjà qu'il n'aurait pas d'audience l'après-midi du 7 juin 2018 auprès du Tribunal administratif de première instance. Il était toutefois possible qu'une procédure écrite lui soit attribuée, ce dont B._ devait s'enquérir par téléphone le matin même. Elle ne l'avait pas informé des résultats de son appel, pour autant qu'elle l'ait effectué.
Par jugement du 7 avril 2020, le Tribunal des prud'hommes a condamné A._ à verser à B._ la somme brute de 10'835 fr. 55 avec intérêts, en invitant la partie qui en avait la charge à opérer les déductions sociales et légales usuelles, et la somme nette de 10'000 fr. avec intérêts. Le premier montant était dû à titre de différence de salaire et le second à titre d'indemnité pour licenciement immédiat injustifié.
B.b. Statuant le 19 novembre 2020 sur appel de A._, la Chambre des prud'hommes de la Cour de justice du canton de Genève a confirmé le jugement attaqué.
C.
A._ (ci-après: le recourant) a formé un recours en matière civile au Tribunal fédéral, en concluant à l'annulation de l'arrêt de la Cour de justice et à ce que B._ (ci-après: l'intimée) soit déboutée de toutes les conclusions de sa demande.
L'intimée et l'autorité précédente n'ont pas été invitées à se déterminer.

Considérant en droit :
1.
Les conditions de recevabilité du recours en matière civile sont réalisées sur le principe, notamment celles afférentes à la valeur litigieuse minimale de 15'000 fr. (<ref-law>) et au délai de recours (art. 46 al. 1 let. c et <ref-law>).
2.
2.1. Le recours peut être formé pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique le droit d'office (<ref-law>). Eu égard, toutefois, à l'exigence de motivation qu'impose l'<ref-law>, sous peine d'irrecevabilité (<ref-law>), il n'examine que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). " Manifestement inexactes " signifie ici " arbitraires " (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées. Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1 et les références citées).
En matière d'appréciation des preuves, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable, voire préférable (<ref-ruling> consid. 4.2).
3.
Le recourant dénonce une violation de l'<ref-law>. Il reproche à la cour cantonale d'avoir considéré que le licenciement immédiat était injustifié.
3.1. L'<ref-law> autorise l'employeur à résilier immédiatement le contrat en tout temps pour de justes motifs (al. 1). Sont notamment considérées comme de justes motifs toutes les circonstances qui, selon les règles de la bonne foi, ne permettent pas d'exiger de celui qui a donné le congé la continuation des rapports de travail (al. 2).
Selon la jurisprudence, la résiliation immédiate pour " justes motifs " est une mesure exceptionnelle qui doit être admise de manière restrictive (<ref-ruling> consid. 2.1.1). Seul un manquement particulièrement grave peut justifier une telle mesure (<ref-ruling> consid. 4.2). Par manquement du travailleur, on entend généralement la violation d'une obligation découlant du contrat de travail, mais d'autres incidents peuvent aussi justifier une telle mesure (<ref-ruling> consid. 2.1.1; <ref-ruling> consid. 4.1; <ref-ruling> consid. 2.2; arrêt 4A_393/2020 du 27 janvier 2021 consid. 4.1.1).
Ce manquement doit être objectivement propre à détruire le rapport de confiance essentiel au contrat de travail ou, du moins, à l'atteindre si profondément que la continuation des rapports de travail ne peut raisonnablement pas être exigée; de surcroît, il doit avoir effectivement abouti à un tel résultat. Lorsqu'il est moins grave, le manquement ne peut entraîner une résiliation immédiate que s'il a été répété malgré un avertissement (<ref-ruling> consid. 4.2; <ref-ruling> consid. 3.1).
3.2. Déterminer les motifs du congé est une question de fait. En revanche, ressortit au droit le point de savoir si le congé est fondé sur de justes motifs (arrêts 4A_246/2020 du 23 juin 2020 consid. 3.2; 4A_35/2017 du 31 mai 2017 consid. 4.1 et les références citées).
Le juge apprécie librement s'il existe de justes motifs (<ref-law>); il applique les règles du droit et de l'équité (<ref-law>). Savoir si le comportement incriminé atteint la gravité nécessaire dépend des circonstances du cas concret (<ref-ruling> consid. 4.2 et les arrêts cités). Dans son appréciation, le juge doit notamment tenir compte de la position et de la responsabilité du travailleur, du type et de la durée des rapports contractuels, de la nature et de l'importance des manquements (<ref-ruling> consid. 2.1.1; <ref-ruling> consid. 4.1; <ref-ruling> consid. 4a), ou encore du temps restant jusqu'à l'échéance ordinaire du contrat (<ref-ruling> consid. 4.2). La position du travailleur, sa fonction et les responsabilités qui lui sont confiées peuvent entraîner un accroissement des exigences quant à sa rigueur et à sa loyauté (<ref-ruling> consid. 2c; arrêt 4A_393/2020 précité consid. 4.1.1).
3.3. Le Tribunal fédéral ne revoit qu'avec réserve la décision d'appréciation prise en dernière instance cantonale. Il n'intervient que lorsque l'autorité précédente s'est écartée sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, lorsqu'elle s'est appuyée sur des faits qui ne devaient jouer aucun rôle ou, à l'inverse, a méconnu des éléments qui auraient absolument dû être pris en considération; il sanctionnera en outre les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (<ref-ruling> consid. 2.1.1; <ref-ruling> consid. 3.1; <ref-ruling> consid. 4.1; <ref-ruling> consid. 2 et les arrêts cités).
4.
4.1. En l'espèce, la cour cantonale a jugé que le recourant ne disposait pas de justes motifs pour licencier l'intimée avec effet immédiat.
La cour cantonale a constaté que l'intimée avait quitté l'Etude le 7 juin 2018 en milieu de journée pour des raisons médicales, en ayant averti le secrétaire. Quelques heures plus tard, elle avait envoyé un message à son maître de stage. Cela reflétait sa volonté de reprendre le travail ultérieurement et de permettre à l'Etude de pallier son absence. Certes, il n'avait pas pu être démontré que l'intimée avait téléphoné à l'autorité susceptible de confier un mandat d'office à C._ pour s'assurer que tel ne serait pas le cas. Néanmoins, aucun mandat de permanence n'avait été attribué, de sorte que le prétendu préjudice causé était nul. Il apparaissait ainsi que c'était sans se donner le temps de la réflexion et sans même contacter sa stagiaire, que le recourant avait impulsivement résilié avec effet immédiat le contrat de travail d'une personne dont il devait assurer la formation et ce pour un motif futile. Le recourant ne pouvait raisonnablement considérer que celle-ci avait abandonné son emploi.
La cour cantonale a ajouté que les prétendues violations de ses devoirs par l'intimée n'étaient pas établies et en tout état de cause sans rapport avec le motif allégué de licenciement. Les obligations particulières s'imposant aux avocats stagiaires avaient été considérées par le tribunal de première instance, lequel avait pris en compte le devoir de diligence et de fidélité de l'intimée. Aucune violation des obligations propres aux avocats stagiaires ne pouvait être retenue.
Enfin, selon la cour cantonale, l'avertissement écrit portait essentiellement sur de prétendues déficiences rédactionnelles et juridiques, mais n'avait aucun rapport avec les faits invoqués à l'appui du licenciement. L'avertissement ne jouait dès lors pas de rôle dans l'examen des motifs du licenciement immédiat.
4.2. Le recourant tente, au gré de son argumentation liée à la violation de l'<ref-law>, de revenir sur plusieurs constatations de fait de la cour cantonale, qui ne peuvent être corrigées que si elles sont arbitraires.
En particulier, il soutient que l'intimée n'avait pas quitté son poste pour des motifs médicaux et que l'Etude n'en avait quoi qu'il en soit pas connaissance à ce stade. Il déclare également que la permanence en cause était une astreinte décidée par le Tribunal administratif de première instance et qu'il était possible que des cas se présentent à la dernière minute. Il allègue encore qu'il n'avait pas impulsivement résilié le contrat de travail. Or, le recourant se contente d'opposer sa propre appréciation à celle de l'autorité précédente, sans parvenir à démontrer que les constatations de cette dernière en lien avec ces éléments seraient insoutenables. Le recourant n'invoque d'ailleurs même pas l'arbitraire. Ces griefs sont dès lors irrecevables.
Il convient ainsi de se fonder exclusivement sur les faits retenus par l'autorité précédente.
4.3. Le recourant reproche à l'autorité précédente d'avoir retenu à tort que le comportement de l'intimée du 7 juin 2018 ne constituait pas un juste motif de licenciement immédiat.
4.3.1. Tout d'abord, le recourant fait grief à la cour cantonale de ne pas avoir correctement pris en considération le cadre légal spécifique à l'exercice de la profession d'avocat et la réglementation particulière du contrat de stage d'avocat. Selon le recourant, la cour cantonale n'avait pas tenu compte des obligations auxquelles les avocats, respectivement les avocats stagiaires, étaient soumis. L'intimée, en quittant son poste sans autorisation et sans en informer son maître de stage, n'avait pas assuré la permanence du Tribunal administratif. Elle avait ainsi violé son obligation de travailler consciencieusement et de respecter les règles de la profession, en particulier son devoir de diligence et celui de se conformer aux instructions de son maître de stage. Les violations des obligations professionnelles de l'intimée étaient donc bel et bien établies.
Toutefois, selon les constatations de la cour cantonale, l'intimée a quitté son travail pour des raisons médicales, en ayant pris soin d'avertir le secrétaire de l'Etude puis, quelques heures plus tard, son maître de stage. La cour cantonale a considéré que cela reflétait notamment la volonté de l'intimée de permettre à l'Etude de pallier son absence. Si l'intimée n'avait pas réussi à démontrer qu'elle avait pris contact avec l'autorité susceptible de confier une affaire à C._, il était établi qu'il n'y avait effectivement pas eu de cas de permanence ce jour-là. Dans ces circonstances, les juges précédents étaient fondés à juger que l'intimée n'avait pas violé ses obligations professionnelles, notamment s'agissant de la diligence requise. Il ne peut leur être reproché de ne pas avoir suffisamment tenu compte de la réglementation spécifique de l'activité d'avocat, respectivement d'avocat stagiaire.
4.3.2. Ensuite, le recourant allègue que l'intimée avait abandonné son poste dans le cadre de la permanence durant laquelle elle avait fait défaut. Selon le recourant, cela revêtait une gravité particulière puisque la responsabilité professionnelle de C._ était engagée.
La cour cantonale a considéré que l'intimée avait la volonté de reprendre son travail ultérieurement et qu'il ne s'agissait pas d'un abandon d'emploi pouvant fonder un juste motif de licenciement immédiat. Certes, l'intimée n'a pas pu assurer la permanence durant l'après-midi du 7 juin 2018. Ce seul élément n'est toutefois pas suffisant pour justifier une résiliation immédiate des rapports de travail, ce d'autant plus que l'intimée a pris des mesures en vue de pallier son absence.
4.3.3. Enfin, le recourant fait grief à l'autorité précédente d'avoir retenu que l'avertissement du 6 juin 2018 était sans rapport avec le motif invoqué à l'appui du licenciement et, partant, de ne pas en avoir tenu compte dans son appréciation. Le recourant soutient que le comportement reproché à l'intimée dans cet avertissement mettait en évidence des violations des règles professionnelles et avait ainsi un lien direct avec le motif du licenciement immédiat.
Il a déjà été relevé que le comportement invoqué à l'appui du licenciement ne constituait pas, dans les circonstances du cas d'espèce, une violation des règles professionnelles (cf. consid. 4.3.1 supra). Pour le surplus, déterminer le contenu d'un avertissement est une question de fait. La cour cantonale a considéré, de manière à lier le Tribunal fédéral, que l'avertissement portait essentiellement sur de prétendues déficiences rédactionnelles et juridiques. Sur ce point, le recourant se limite à substituer son appréciation à celle de la cour cantonale, sans démontrer qu'elle aurait sombré dans l'arbitraire en ne retenant pas que cet avertissement concernait des violations des règles professionnelles.
Le recourant n'amène aucun autre élément pouvant fonder un lien entre le motif du licenciement immédiat et le contenu de l'avertissement précité. La cour cantonale n'a donc pas mésusé de son pouvoir d'appréciation en ne prenant pas en compte cet avertissement dans son raisonnement.
4.4. Au vu de ce qui précède, l'autorité précédente était fondée à retenir que la résiliation immédiate du contrat de l'intimée ne reposait pas sur de justes motifs.
5.
Pour le surplus, le recourant ne formule aucune critique quant aux conséquences pécuniaires du congé injustifié (art. 337c al. 1 et 3 CO).
6.
En définitive, le recours doit être rejeté, dans la mesure où il est recevable.
Le recourant, qui succombe, prendra en charge les frais judiciaires (<ref-law>). En revanche, il n'aura pas à indemniser l'intimée, puisque celle-ci n'a pas été invitée à déposer une réponse.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Chambre des prud'hommes de la Cour de justice du canton de Genève.
Lausanne, le 9 mars 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz