Faits :
A.
A.a. Le 1er novembre 2018, A._, représenté par Me Z._ (ci-après: le conseil de l'intéressé), a déposé au Tribunal de première instance du canton de Genève une demande en paiement de 147'564 fr. 80 avec intérêts, sous déduction de 23'000 fr., dirigée contre B._, C._, D._, E._ et F._. La cause a été gardée à juger le 24 janvier 2020.
Le 17 avril 2020, le conseil de l'intéressé a donné à la Poste un ordre d'annulation de la case postale n° xx, PP._ - qui sera qualifiée de case postale " Extra " par courrier de la Poste du 11 septembre 2020 mentionné ci-après - " valable jusqu'au 3 mai 2020 ". Le 17 avril 2020 également, il a formé une " demande de case postale Extra " à GG._ " valable dès le 4 mai 2020 ", ainsi qu'une demande de " changement d'adresse avec réexpédition [...] valable dès le 30 avril 2020 jusqu'au 29 avril 2021 ". Cette demande de changement d'adresse avec réexpédition concernait son adresse privée, à..., PP._, vers sa nouvelle adresse privée à LL._ (<ref-law>). Le 22 avril 2020, la case postale " Extra " n° yy à LL._ lui a été attribuée dès le 4 mai 2020.
Le 22 avril 2020, le conseil de l'intéressé a requis de la Commission du Barreau du canton de Genève (ci-après: la Commission du Barreau), laquelle avait accepté par décision du 18 juin 2019 que son adresse professionnelle soit celle de son domicile privé, d'inscrire son changement d'adresse dans le registre cantonal des avocats, au vu de son déménagement " à la fin de ce mois ".
Par jugement du 28 avril 2020, le tribunal a notamment condamné B._ à payer à A._ un montant de 108'192 fr. 40 avec intérêts, sous déduction d'un montant de 23'000 fr. Le 5 mai 2020, ce jugement a été expédié à A._ à son domicile élu, soit l'étude de son conseil, " case postale n° xx, PP._ ". A teneur du suivi des envois de la Poste, l'avis de retrait du pli recommandé a été déposé dans la case postale susmentionnée le 6 mai 2020. Ce pli n'a pas été réclamé à l'échéance du délai de garde, le 13 mai 2020. Le tribunal a renvoyé le jugement à la même adresse par pli simple le 18 mai 2020.
Le 22 mai 2020, la Commission du Barreau a répondu au conseil de l'intéressé qu'il n'y avait pas d'inconvénient à ce qu'il exerce son activité professionnelle à son nouveau domicile.
Par pli du 6 juillet 2020, expédié à la nouvelle adresse de l'étude du conseil de l'intéressé, le tribunal a restitué les pièces de la procédure. Le conseil a retiré ce pli le 8 juillet 2020 et a pris connaissance du jugement le 10 juillet 2020 lors d'une consultation au greffe.
Le conseil de l'intéressé s'est rendu à l'office de poste de PP._ pour demander s'il y avait encore du courrier qui lui avait été envoyé à cette adresse. Une lettre du 24 juin 2020 provenant de la Ville de PP._ lui a été remise à cette occasion.
A.b. Le 11 septembre 2020, A._ a interjeté appel à l'encontre du jugement de première instance auprès de la Chambre civile de la Cour de justice du canton de Genève.
Le 14 septembre 2020, A._ a déposé une copie d'un courrier adressé le 11 septembre 2020 par la Poste à son conseil. Elle l'informait que dans le cas d'une case postale " Extra ", telle que la case n° xx, PP._, le courrier, sans autre indication de la part du destinataire, retournait à l'expéditeur dès la résiliation de la case et, à supposer que des indications de réexpédition automatique lui avait été erronément données sur ce point, lui présentait des excuses.
A._ a ensuite sollicité l'audition d'un témoin, ainsi que des renseignements écrits auprès de la Commission du Barreau et du Secrétaire général du Pouvoir judiciaire.
Par arrêt du 9 mars 2021, la Cour de justice a déclaré l'appel irrecevable, car introduit tardivement. Elle n'a pas donné suite à l'offre de preuves.
B.
A._ (ci-après: le recourant) a exercé un recours en matière civile au Tribunal fédéral. Il a conclu principalement à la réforme de l'arrêt entrepris en ce sens que B._, C._, D._, E._ et F._ (ci-après: les intimés) soient condamnés solidairement à lui verser la somme de 147'564 fr. 80 avec intérêts, sous déduction d'un montant de 23'000 fr. Subsidiairement, il a conclu à ce que l'arrêt soit annulé et la cause renvoyée à l'instance précédente pour nouvelle décision dans le sens des considérants. Une demande d'assistance judiciaire, limitée à l'exonération des frais judiciaires, était jointe au recours.
Par ordonnance du 18 janvier 2022, la requête d'assistance judiciaire partielle a été admise et le recourant a été dispensé de faire l'avance des frais judiciaires.
Par ordonnance du 4 février 2022, la demande de sûretés en garantie des dépens formée par C._, D._, E._ et F._ a été rejetée.
Dans leur réponse, ces derniers ont conclu au rejet du recours dans la mesure de sa recevabilité. B._ ne s'est quant à lui pas déterminé.
La cour cantonale s'est référée aux considérants de son arrêt.

Considérant en droit :
1.
1.1. Le recours est dirigé contre une décision finale (<ref-law>) rendue en matière civile (<ref-law>) par le tribunal supérieur du canton (<ref-law>). La cause atteint la valeur litigieuse de 30'000 fr. ouvrant le recours en matière civile (<ref-law>). Le recourant, qui a succombé devant la cour cantonale, a qualité pour recourir (<ref-law>). Le recours a en outre été déposé en temps utile (art. 45 al. 1 et 100 al. 1 LTF).
1.2. La cour cantonale a rendu un arrêt d'irrecevabilité et ne s'est pas prononcée sur le bien-fondé du jugement de première instance. Contre un tel arrêt, seules les conclusions du recours tendant à l'annulation et au renvoi sont admissibles, à l'exclusion des conclusions sur le fond, lesquelles supposent que l'autorité précédente soit entrée en matière; en effet, s'il annule un arrêt d'irrecevabilité, le Tribunal fédéral ne statue pas lui-même sur le fond, mais renvoie la cause à l'autorité d'appel afin que le justiciable ne soit pas privé d'un degré de juridiction (<ref-ruling> consid. 1.2). Dès lors, la conclusion principale portant sur le fond est irrecevable.
2.
2.1. Le recours peut être formé pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique le droit d'office (<ref-law>). Eu égard, toutefois, à l'exigence de motivation qu'impose l'<ref-law>, sous peine d'irrecevabilité (<ref-law>), il n'examine d'ordinaire que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). " Manifestement inexactes " signifie ici " arbitraires " (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées (<ref-ruling> consid. 1.3.1 et les références). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes en conformité avec les règles de procédure les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1 et les références citées).
En matière d'appréciation des preuves, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable, voire préférable (<ref-ruling> consid. 4.2).
3.
Le recourant requiert d'abord que l'état de fait en lien avec ses écritures soit complété avec certaines allégations qu'il y a formulées. Ensuite, il présente des faits nouveaux et produit des pièces nouvelles. Il se plaint encore, en substance, d'arbitraire dans l'appréciation anticipée des preuves. Ces éléments n'ont aucune influence sur l'issue du litige, de sorte qu'il n'y a pas lieu de les examiner (cf. consid. 4.3 infra).
4.
Enfin, le recourant dénonce une violation des art. 138 et 311 al. 1 CPC. Il soutient que son conseil a fait preuve de toute la diligence requise afin que les actes du tribunal puissent l'atteindre.
4.1.
4.1.1. Les décisions sont notifiées par envoi recommandé ou d'une autre manière contre accusé de réception (<ref-law>).
Si un tribunal notifie une décision par envoi recommandé et si celui-ci n'est pas retiré, l'acte est réputé notifié à l'expiration d'un délai de sept jours à compter de l'échec de la remise, si le destinataire devait s'attendre à recevoir la notification (<ref-law>; fiction de notification; <ref-ruling> consid. 4.1; <ref-ruling> consid. 3.1).
Cette fiction se fonde sur le devoir des parties de se comporter conformément aux règles de la bonne foi, à savoir de faire en sorte, notamment, que les décisions relatives à la procédure puissent leur être notifiées. Ce devoir naît au moment où se noue la relation procédurale et vaut pendant la durée de la procédure, dans la mesure où les parties doivent s'attendre, avec une certaine vraisemblance, à la notification d'un acte officiel (ATF <ref-ruling> consid. 3.1; <ref-ruling> consid. 1.2.3).
De jurisprudence constante, celui qui se sait partie à une procédure judiciaire et qui doit dès lors s'attendre à recevoir notification d'actes du juge, est tenu de relever son courrier ou, s'il s'absente de son domicile, de prendre des dispositions pour que celui-ci lui parvienne néanmoins. A ce défaut, il est réputé avoir eu, à l'échéance du délai de garde, connaissance du contenu des plis recommandés que le juge lui adresse. Une telle obligation signifie que le destinataire doit, le cas échéant, désigner un représentant, faire suivre son courrier, informer les autorités de son absence ou leur indiquer une adresse de notification (<ref-ruling> consid. 1.1.2; <ref-ruling> consid. 3.1; <ref-ruling> consid. 1.1).
4.1.2. S'agissant du cas particulier du changement d'adresse en cours de procédure, l'avant-projet de code de procédure civile suisse prévoyait un autre cas de fiction de notification: l'acte était réputé notifié lorsque le destinataire avait changé d'adresse pendant la procédure sans en informer le tribunal; la date de la notification était celle du jour de l'échec de la remise (Procédure civile suisse, Avant-projet de la commission d'experts, juin 2003, art. 103 al. 3 let. c AP-CPC). Certains participants à la procédure de consultation ont jugé cela trop sévère (Classement des réponses à la procédure de consultation pour l'Avant-projet relatif à une loi fédérale sur la procédure civile suisse, 2004, p. 370 ss). Ce cas de fiction n'a pas été repris dans le projet soumis au législateur (FF 2006 7019, p. 7048).
Le Tribunal fédéral, dans un arrêt 2C_554/2007 du 21 décembre 2007 consid. 2.2, a relevé que l'autorité saisie pouvait s'attendre à ce que la notification puisse être effectuée à l'adresse communiquée par la partie; si cela n'était pas possible, l'envoi était considéré comme notifié au plus tard à l'expiration du délai habituel de sept jours de retrait pour les envois postaux recommandés (cf. également <ref-ruling> consid. 3; arrêts 4A_246/2009 du 6 août 2009 consid. 3.4, 7B.164/2005 du 28 septembre 2005).
4.1.3. Selon la jurisprudence, pour les envois postaux recommandés, il existe une présomption selon laquelle l'employé de la Poste a dûment déposé l'avis de retrait dans la boîte aux lettres ou la boîte postale du destinataire, et que la date de distribution a été correctement enregistrée. Cette présomption peut être renversée si le destinataire établit au degré de la vraisemblance prépondérante une erreur dans la notification; il faut des indices concrets d'une erreur (<ref-ruling> consid. 2.3 en matière pénale, et les arrêts cités; arrêt 4A_250/2008 du 18 juin 2008 consid. 3.2.2).
4.2. En l'espèce, la cour cantonale a retenu que le demandeur devait s'attendre à recevoir un jugement dans le cadre de la procédure civile, qu'il avait lui-même initiée et qui était gardée à juger depuis le 24 janvier 2020, ce dont son conseil avait été informé. Il incombait donc à ce dernier de prendre toutes les mesures nécessaires pour s'assurer que le pli recommandé contenant le jugement lui parviendrait malgré le déménagement. La diligence professionnelle lui imposait de communiquer son changement d'adresse au tribunal, ce qu'il n'avait pas fait. Les explications en lien avec un supposé manquement de la Poste étaient sans portée. En communiquant sa nouvelle adresse à la Commission du barreau, laquelle tenait la liste publique des avocats inscrits au registre cantonal, le conseil n'avait fait que se conformer à ses obligations d'avocat. Une telle communication ne le dispensait pas de s'adresser directement aux greffes des juridictions, en particulier lorsqu'il se savait constitué dans des procédures pendantes. Il ne pouvait être escompté que le secrétariat de la Commission du barreau procède instantanément à toute modification requise auprès d'elle, de sorte que celle-ci soit immédiatement disponible dans les greffes des juridictions. Les conséquences des inactions du conseil du demandeur devaient être imputées à ce dernier. Dès lors, le jugement du 28 avril 2020 avait été valablement notifié à l'échéance du délai de garde, soit le 13 mai 2020, de sorte que le délai pour former appel était arrivé à échéance le 12 juin 2020. L'appel expédié le 11 septembre 2020 était ainsi irrecevable.
4.3.
4.3.1. La cour cantonale a considéré à juste titre que le conseil du recourant devait s'attendre à recevoir un jugement et ainsi prendre toutes les mesures nécessaires pour s'assurer qu'il lui parviendrait.
Le recourant se prévaut de deux mesures prises par son conseil afin de réceptionner ce jugement. Il s'agit de sa communication de son changement d'adresse à la Commission du Barreau et de ses démarches effectuées auprès de la Poste.
Pour ce second point, le recourant se fonde sur un renseignement erroné qu'aurait fourni la Poste à son conseil quant à la réexpédition automatique du courrier de son ancienne case postale vers sa nouvelle case postale. Il fait valoir que, ce faisant, la Poste a commis une erreur, laquelle était prouvée par la lettre qu'elle lui avait adressée le 11 septembre 2020. Ce renseignement erroné, combiné avec le dépôt d'une demande de réexpédition du courrier, démontrait que son conseil avait fait preuve de toute la diligence nécessaire pour faire suivre son courrier.
4.3.2. Il ressort des faits constatés par la cour cantonale que l'ordre d'annulation pour la case postale " Extra " de PP._ indiquait que celle-ci était valable jusqu'au 3 mai 2020. L'avis de retrait du pli recommandé contenant le jugement attaqué a pourtant été déposé dans cette même case le 6 mai 2020. Si l'état de fait cantonal mentionne une demande de changement d'adresse avec réexpédition du courrier formée par le conseil, on doit préciser que celle-ci concerne uniquement son adresse privée, à..., PP._, et non sa case postale " Extra " de PP._ (<ref-law>). C'est pour cette raison que le courrier parvenu à cette case postale " Extra " n'a pas été réexpédié vers sa nouvelle case postale. Néanmoins, la demande de réexpédition concernant son adresse privée a été effectuée le 17 avril 2020, soit le jour où il a annulé sa case postale " Extra " de PP._ et demandé une nouvelle case postale " Extra " à GG._. On peut en déduire qu'il aurait également voulu formuler une demande de réexpédition du courrier pour sa case postale " Extra ", et non seulement pour son adresse privée, s'il n'avait pas été mal renseigné par la Poste à cet égard.
La cour cantonale a retenu que par la lettre du 11 septembre 2020, la Poste avait informé le conseil que dans le cas d'une case postale " Extra ", telle que la case n° xx de PP._, le courrier, sans autre indication de la part du destinataire, retournait à l'expéditeur dès la résiliation de la case et, à supposer que des indications de réexpédition automatique lui avait été erronément données sur ce point, lui présentait des excuses. Le recourant soutient que ces faits constatés par la cour cantonale sont arbitraires, car en contradiction avec le texte de cette lettre. Ils laisseraient entendre que le rédacteur a seulement supposé l'existence d'un renseignement erroné, ce qui n'était pas le cas.
Dans cette lettre, la Poste a d'abord présenté la version qui lui avait été fournie par le conseil du recourant, à savoir que lors de son passage à l'office de poste pour effectuer son changement de domicile avec réexpédition du courrier, le personnel du guichet l'avait informé que le courrier adressé à la case postale serait automatiquement réexpédié. Ensuite, la Poste a indiqué que tel était le cas pour les cases postales standard, mais pas pour les cases postales " Extra ", telles sa case de PP._; pour celles-ci, sans autre indication de la part du destinataire, le courrier retournait aux expéditeurs dès la résiliation de la case, soit le 3 mai 2020 en l'occurrence. Pour finir, la Poste a regretté cette information erronée et a présenté ses excuses pour les désagréments occasionnés.
Au vu du contenu de cette lettre, retranscrite sans arbitraire par la cour cantonale, et des différentes demandes formulées par le conseil le 17 avril 2020 auprès de la Poste, on peut considérer que celui-ci aurait voulu déposer une demande de réexpédition du courrier pour sa case postale " Extra ", ce qu'il a toutefois été empêché de faire sans sa faute.
Compte tenu des circonstances très particulières du cas d'espèce, on doit retenir que par les démarches que le conseil a effectuées auprès de la Poste, il a, de bonne foi, satisfait à son obligation de prendre des mesures pour que les courriers du tribunal lui parviennent, même s'il n'a pas communiqué son changement d'adresse au tribunal.
Dès lors, la fiction de notification ne saurait être appliquée.
4.3.3. Comme aucune notification valable (réellement ou fictivement) ne peut être retenue au mois de mai 2020, il n'y a pas lieu d'examiner si le recourant aurait dû déposer une demande de restitution du délai (<ref-law>) d'appel dès sa connaissance effective du jugement. En effet, la question de la restitution de délai n'entre en ligne de compte que lorsqu'un délai n'a pas été observé. Un acte qui n'a pas été valablement notifié ne déploie aucun effet juridique et ne fait partir aucun délai (arrêt 4A_21/2021 du 25 mai 2021 consid. 6.1 et les références citées).
Dans le présent cas, il faut retenir que la notification a eu lieu le 10 juillet 2020, date à laquelle le recourant a effectivement eu connaissance du jugement.
La cause sera ainsi renvoyée à la cour cantonale afin qu'elle détermine si l'appel a été déposé en temps utile compte tenu de ce qui précède et, si les autres conditions de recevabilité sont remplies, entre en matière sur l'appel.
5.
En définitive, le recours doit être admis. L'arrêt attaqué sera annulé et la cause renvoyée à la cour cantonale afin qu'elle rende une nouvelle décision dans le sens des considérants.
Les frais judiciaires et les dépens seront mis solidairement à la charge des intimés (art. 66 al. 1 et 5 et 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt attaqué est annulé et la cause renvoyée à la cour cantonale afin qu'elle rende une nouvelle décision dans le sens des considérants.
2.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge des intimés, solidairement entre eux.
3.
Les intimés, débiteurs solidaires, verseront au recourant une indemnité de 6'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 25 mars 2022
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz