Faits :
A.
A.a. A._ est administrateur président de X._ SA. Le capital-actions de cette société, de 200 actions au porteur d'une valeur nominale de 1'000 fr. chacune, était détenu jusqu'au 1er septembre 2017 par A._ à concurrence de 190 actions et par B._, administrateur, à concurrence de 10 actions.
A.b. Par convention du 1er septembre 2017, A._ a vendu 120 actions à C._ et 10 actions à B._.
Le 1er septembre 2017 également, A._, B._ et C._ ont conclu une convention d'actionnaires de X._ SA, qui avait pour but d' " assurer un développement harmonieux de la société " et de " régler clairement leurs relations ". Ils sont notamment convenus de dispositions concernant la transmission des actions. En particulier, cette convention prévoyait que lorsque l'un des actionnaires quitterait son emploi au sein de X._ SA, il devait proposer de vendre ses actions aux autres actionnaires, qui disposaient d'un droit de préemption à l'égard de tout tiers.
A._ et B._ ont allégué que la convention d'actionnaires avait été conclue entre les trois nouveaux actionnaires de X._ SA afin de régler leurs rapports et d'organiser les modalités et étapes du but commun poursuivi, soit la transmission de l'entreprise. C._ a contesté cet allégué.
A.c. A compter du 4 septembre 2017, C._ s'est engagé au service de X._ SA en qualité de responsable du développement commercial. Il a ensuite été inscrit au Registre du commerce du canton de Genève en tant qu'administrateur de X._ SA.
A.d. Le 6 septembre 2017, D._ Sàrl a été inscrite au Registre du commerce, avec pour associé-gérant C._, et pour but l'acquisition et la détention de participations dans toutes sociétés et/ou entreprises.
A.e. A._ et B._ ont allégué que C._ avait rapidement eu une attitude problématique au sein de X._ SA.
Le 19 mars 2018, X._ SA a licencié C._ pour le 30 avril 2018 et l'a libéré de son obligation de travailler pendant le délai de congé.
Lors de l'assemblée générale de X._ SA du 16 août 2018, à laquelle C._ n'était pas présent, il a été mis fin à son mandat d'administrateur avec effet immédiat.
A._ et B._ ont allégué que les associés à la convention d'actionnaires avaient acté la fin des rapports noués au plus tard à l'été 2018 et que les apports faits par chacun d'entre eux étaient de ce fait tombés dans des rapports de liquidation et de propriété commune. C._ et D._ Sàrl ont contesté cet allégué.
B.
B.a. A._ et B._ ont saisi le Tribunal de première instance du canton de Genève d'une requête en désignation d'un liquidateur de la société simple, dirigée contre C._ et D._ Sàrl. Ils ont conclu à ce que E._ soit nommé en qualité de liquidateur de la société simple formée entre les quatre précités et à ce qu'il soit ordonné à celui-ci de procéder aux opérations de liquidation, qu'ils ont détaillées. Ils ont également conclu à ce qu'il soit dit que ces opérations devaient mener à la restitution des 120 actions de X._ SA détenues par C._, respectivement D._ Sàrl, à A._, contre le paiement de 1'200'000 fr.
Par jugement du 27 août 2020, le tribunal, statuant en procédure sommaire, a désigné E._ en qualité de liquidateur des rapports de société simple existant entre A._, B._ et C._. Il a retenu que D._ Sàrl n'avait pas la qualité d'associée.
B.b. Tant C._ que D._ Sàrl ont formé appel contre ce jugement auprès de la Chambre civile de la Cour de justice du canton de Genève. Ils ont conclu à l'irrecevabilité, subsidiairement au rejet de la requête formée par A._ et B._.
Par arrêt du 23 décembre 2020, la cour cantonale a déclaré l'appel de D._ Sàrl recevable en tant qu'il portait sur les frais et dépens de première instance et l'a déclaré irrecevable pour le surplus, faute d'intérêt, puisqu'il avait été fait droit à ses conclusions sur le fond. Ensuite, la cour cantonale a partiellement annulé le jugement attaqué et, statuant à nouveau, a débouté A._ et B._ des fins de leur requête en désignation d'un liquidateur de la société simple.
C.
A._ et B._ (ci-après: les recourants) ont exercé un recours en matière civile au Tribunal fédéral à l'encontre de cet arrêt. En substance, ils ont conclu à son annulation et à ce que E._ soit désigné comme liquidateur des rapports de société simple existant entre A._, B._ et C._, respectivement D._ Sàrl.
C._ et D._ Sàrl ont conclu à l'irrecevabilité du recours, subsidiairement à son rejet.
La cour cantonale s'est référée aux considérants de son arrêt.
Les recourants ont déposé une réplique spontanée, suscitant une duplique de C._.

Considérant en droit :
1.
1.1. La présente cause porte sur la désignation d'un liquidateur d'une société simple. Elle revêt un caractère civil (<ref-law>); il s'agit en outre d'une affaire pécuniaire (arrêts 4A_143/2013 du 30 septembre 2013 consid. 1.1; 4C.235/2006 du 23 octobre 2006 consid. 1.1 non publié in <ref-ruling>). Les intérêts économiques en jeu permettent d'admettre que la valeur litigieuse de 30'000 fr. est atteinte (<ref-law>). L'arrêt attaqué est final (<ref-law>) et a été rendu par une autorité cantonale de dernière instance statuant sur recours (<ref-law>). Le recours est interjeté par les parties qui n'ont pas obtenu gain de cause en instance cantonale (<ref-law>). Enfin, il a été déposé en temps utile (<ref-law>).
1.2. Il découle du principe de disposition, qui est l'expression en procédure du principe de l'autonomie privée, que les parties décident librement non seulement si elles veulent introduire un procès (<ref-law>) ou y mettre fin (<ref-law>), mais également si elles veulent interjeter un recours, peu importe qu'elles disposent ou non de l'objet du litige (<ref-ruling> consid. 4.5.3). Toute juridiction de recours est liée par les conclusions prises par les parties: elle ne peut pas allouer au recourant moins que ce que le tribunal lui a accordé ou le condamner à plus que ce à quoi le tribunal l'a condamné, à moins que sa partie adverse n'ait elle-même interjeté un recours principal ou, dans les voies de droit qui l'admettent, n'ait formé un appel joint. C'est l'expression du principe fondamental, clair et indiscuté, de l'interdiction de la reformatio in pejus (<ref-ruling> consid. 3.2; <ref-ruling> consid. 2.1.1; arrêt 4A_54/2017 du 29 janvier 2018 consid. 1.3.1).
La conclusion des recourants visant à la désignation d'un liquidateur des rapports de société simple existant avec C._, respectivement D._ Sàrl, est irrecevable. En effet, sur ce point, s'agissant de D._ Sàrl, le jugement de première instance les avait déboutés de leurs conclusions. Les recourants n'ont pas interjeté d'appel principal, ni d'appel joint à l'encontre de ce jugement. Dès lors, il leur est interdit de le remettre en question, au détriment des intimés, à l'occasion d'un recours au Tribunal fédéral contre l'arrêt rendu par la cour cantonale sur appel de ces derniers.
2.
2.1. Le recours peut être formé pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique le droit d'office (<ref-law>). Eu égard, toutefois, à l'exigence de motivation qu'impose l'<ref-law>, sous peine d'irrecevabilité (<ref-law>), il n'examine que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 2). Le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). " Manifestement inexactes " signifie ici " arbitraires " (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
3.
Tout d'abord, les recourants dénoncent une violation des <ref-law>, 29 al. 2 Cst. et 6 CEDH. Ils soutiennent que la motivation de la décision attaquée est insuffisante et viole leur droit d'être entendus. Ils font valoir qu'ils sont dans l'impossibilité de comprendre quels sont les faits retenus et en vertu desquels les magistrats cantonaux ont procédé à leur subsomption.
3.1. L'<ref-law> dispose que les décisions qui peuvent faire l'objet d'un recours devant le Tribunal fédéral doivent contenir les motifs déterminants de fait et de droit, notamment les dispositions légales appliquées.
Nonobstant que l'<ref-law> s'adresse aux autorités qui précèdent le Tribunal fédéral et ne confère aucune garantie constitutionnelle, il se recoupe avec le droit à une motivation suffisante, tel qu'il découle du droit d'être entendu (arrêts 4A_611/2020 du 12 juillet 2021 consid. 5.1; 5A_266/2020 du 26 mai 2020 consid. 4.1).
Le droit d'être entendu garanti par les art. 29 al. 2 Cst. et 53 CPC, qui ont à cet égard la même portée, comprend notamment l'obligation pour l'autorité de motiver sa décision, afin que le justiciable puisse apprécier la portée de celle-ci et exercer son droit de recours à bon escient (<ref-ruling> consid. 2.1). Pour satisfaire à cette exigence, il lui suffit d'exposer, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé son raisonnement (<ref-ruling> consid. 4.2).
3.2. En l'espèce, la cour cantonale a résumé certains allégués des parties, en précisant lesquels étaient contestés. Elle a ensuite relevé que les parties s'opposaient sur l'existence même d'une société simple, laquelle pouvait certes découler d'une convention d'actionnaires. La cour cantonale a ajouté qu'elle ne pouvait a fortiori retenir qu'il serait acquis que cette société simple serait dissoute, et ainsi en phase de liquidation, ce qui était également disputé entre les parties. Elle a exposé que la procédure introduite tendait uniquement à la nomination d'un liquidateur et relevait de la procédure gracieuse, si bien que le juge devait se borner à s'assurer de l'absence de litige au sujet de la dissolution de la société simple et de son entrée en liquidation. Selon la cour cantonale, il y avait en l'occurrence un litige, de sorte que la requête en nomination d'un liquidateur n'était pas destinée à prospérer.
3.3. Force est de constater que la cour cantonale a expliqué à satisfaction les raisons pour lesquelles elle a considéré que cette requête devait être rejetée. Les recourants ont manifestement été en mesure de comprendre et d'attaquer les motifs de la décision querellée, de sorte que leurs griefs quant à la violation des <ref-law> et 29 al. 2 Cst. doivent être rejetés.
Pour le surplus, les recourants ne démontrent pas dans quelle mesure l'art. 6 CEDH dont ils se prévalent s'étendrait au-delà du contenu de l'art. 29 al. 2 Cst., de sorte qu'il n'y a pas lieu d'entrer en matière sur ce grief.
4.
Ensuite, les recourants reprochent à la cour cantonale de ne pas avoir tranché la question de savoir si une société simple existait ou non. Ils soutiennent que tel était bien le cas. La cour cantonale n'avait également, à tort, pas tenu compte de ce que la dissolution de la société simple avait eu lieu de par la loi. Cette dissolution ex lege résultait de l'impossibilité subséquente d'atteindre le but social de la société simple, au vu du départ de C._ de l'équipe dirigeante de la société et de son conseil d'administration. La dissolution découlait par ailleurs du contenu de la convention d'actionnaires; compte tenu du départ de C._, ses titres devaient être restitués aux autres actionnaires. Ainsi, une procédure judiciaire portant sur la dissolution de la société simple n'avait pas lieu d'être, de sorte que la requête portait uniquement sur la désignation d'un liquidateur de la société simple. Les recourants dénoncent une violation des art. 530, 545 al. 1 ch. 1 et 583 al. 2 CO.
Il n'y a pas lieu d'examiner la question de l'existence ou non d'une société simple, pour les motifs qui suivent.
4.1. La nomination d'un liquidateur de la société simple par le juge peut intervenir de deux manières. D'une part, chaque associé a le droit de demander au juge l'exécution de la liquidation et, dans ce cadre, la nomination d'un liquidateur (arrêts 4A_74/2015 du 8 juillet 2015 consid. 4.2.2; 4A_443/2009 du 17 décembre 2009 consid. 3.3); l'action en liquidation relève de la juridiction contentieuse et suit en principe la procédure ordinaire (<ref-law>; arrêt 4A_143/2013 précité consid. 2.2; DANIEL STAEHELIN, in Basler Kommentar, Obligationenrecht II, 5e éd. 2016, n° 1 ad art. 548/549 CO). D'autre part, chaque associé peut demander directement la nomination judiciaire d'un liquidateur; l'<ref-law>, qui le prévoit expressément pour la société en nom collectif, est applicable par analogie à la société simple (FRANÇOIS CHAIX, in Commentaire romand, Code des obligations II, 2e éd. 2017, n° 8 ad art. 548-550 CO; STAEHELIN, op. cit., n° 8 ad <ref-law>); la requête relève alors de la juridiction gracieuse et est soumise à la procédure sommaire (cf. art. 250 let. c ch. 3 CPC; arrêt précité 4A_143/2013 consid. 2.2; cf. également MATHIEU BLANC/BENOÎT FISCHER, Les sociétés de personnes, 2020, n° 346 p. 100; JACQUES HALDY, in Commentaire romand, Code de procédure civile, 2e éd. 2019, n° 4 ad <ref-law>; STAEHELIN, op. cit., n° 8a ad <ref-law>).
Sur le fond, pour qu'un liquidateur soit désigné, il faut logiquement que la société simple soit en phase de liquidation. En principe, tel sera le cas lorsque la société est dissoute (cf. <ref-law>; arrêt précité 4A_143/2013 consid. 2.2).
Saisi d'une action en liquidation tendant également à la nomination d'un liquidateur, le juge du contentieux examinera en premier lieu si la société simple est dissoute et si elle doit être liquidée, ce qui est l'objet même du litige. En revanche, face à une requête qui tend uniquement à la nomination d'un liquidateur, relevant de la juridiction gracieuse, le juge n'a pas à examiner si une cause de dissolution de la société simple est réalisée; il se limitera à s'assurer que la dissolution et l'entrée en liquidation de la société simple ne sont pas litigieuses, de sorte que la désignation d'un liquidateur puisse être envisagée (arrêt précité 4A_143/2013 consid. 2.2 et 2.3 in fine; cf. ADRIEN GABELLON/MEHDI TEDJANI, La fin de la société simple [2/2] - la liquidation et quelques aspects de procédure, in SJ 2016 II 251, p. 276; STAEHELIN, op. cit., n° 8a ad <ref-law>).
4.2. En l'espèce, la requête portait uniquement sur la désignation d'un liquidateur. Comme exposé ci-dessus, dans une telle procédure, relevant de la juridiction gracieuse et soumise à la procédure sommaire, le juge n'avait pas à analyser si une cause de dissolution de la société simple était réalisée. Il devait uniquement s'assurer de l'absence de litige au sujet de la dissolution de la société simple et de son entrée en liquidation. En l'occurrence, la cour cantonale a retenu que ceci, notamment, était disputé par les parties, de sorte que la requête en désignation d'un liquidateur devait être rejetée. Son raisonnement n'est pas critiquable. Le fait que la dissolution serait prétendument intervenue de par la loi n'y change rien, ce point étant litigieux.
5.
En définitive, le recours doit être rejeté, dans la mesure où il est recevable.
Les recourants, qui succombent, prendront solidairement à leur charge les frais judiciaires (art. 66 al. 1 et 5 LTF). Ils verseront en outre, également solidairement entre eux, une indemnité de dépens à chacun des intimés, à savoir C._ et D._ Sàrl (art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis solidairement à la charge des recourants.
3.
Les recourants, débiteurs solidaires, verseront à chacun des intimés une indemnité de 6'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 28 février 2022
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz