Faits :
A.
Le 8 mai 2019, C._ a introduit auprès du Tribunal de première instance de Genève (ci-après: le Tribunal) une demande de dissolution du partenariat enregistré qu'il formait avec A._ depuis le 5 septembre 2008.
B.
Le 10 juillet 2020, A._ a introduit une requête de récusation à l'encontre de la Juge du Tribunal de première instance Karin Wirthner Zinggeler. Par décision du 20 août 2020, le Tribunal lui a imparti un délai au 17 septembre 2020 pour fournir une avance de frais de 500 fr. et l'a informé qu'en cas d'irrecevabilité de la requête de récusation pour non-paiement de l'avance de frais ou en cas de retrait de la demande de récusation, un émolument de 100 fr. à 200 fr. pourrait être perçu. Dans cette décision, le Tribunal a aussi informé " la partie requérante que l'assistance judiciaire peut être requise aux conditions prévues par la loi " (art. 105 al. 2 LTF). L'avance de frais n'ayant pas été versée à temps, un délai supplémentaire au 15 octobre 2020 a été fixé au requérant, son attention étant notamment attirée sur le fait qu'en cas de non-paiement de l'avance de frais, sa requête de récusation serait déclarée irrecevable, le Tribunal rappelant en outre " que l'assistance judiciaire peut être requise aux conditions prévues par la loi " (art. 105 al. 2 LTF). L'avance de frais n'a pas été versée dans le délai imparti.
Statuant par jugement du 29 octobre 2020, la Vice-présidente du Tribunal de première instance Sandrine Rohmer a déclaré irrecevable la requête de récusation et condamné A._ à verser à l'Etat de Genève un émolument de décision de 500 fr.
Par arrêt du 29 avril 2021, la Cour de justice a confirmé cette décision en tant qu'elle déclarait irrecevable la demande de récusation, mais l'a réformée s'agissant du montant des frais judiciaires de première instance, qu'elle a fixés à 100 fr. L'arrêt a été rendu sans frais.
C.
Le 20 mai 2021, A._ exerce un " appel contre les jugements sur la demande de récusation du juge ". Il conclut à l'annulation de l'ordonnance du Tribunal de première instance du 29 octobre 2020 et de l'arrêt de la Cour de justice du 29 avril 2021, à ce que la demande de récusation de la Juge Karin Wirthner Zinggeler soit examinée sur le fond ou à ce que l'affaire soit renvoyée au Tribunal civil de Genève pour nouvel examen par un autre juge. Il demande aussi " à la cour d'annuler ses honoraires pour l'examen du présent recours en raison de sa mauvaise situation financière ainsi que d'annuler les honoraires de 100 CHF pour le jugement du tribunal de première instance ". Il sollicite enfin le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Invitées à se déterminer, la Juge intimée n'a pas formulé d'observations et la cour cantonale s'est référée aux considérants de son arrêt.

Considérant en droit :
1.
L'arrêt attaqué, qui rejette un recours contre une décision déclarant irrecevable la requête de récusation d'une juge du Tribunal de première instance, est une décision incidente relative à une demande de récusation; elle peut être attaquée indépendamment de la décision finale en vertu de l'art. 92 al. 1 LTF. La voie de droit contre une décision incidente suit celle ouverte contre la décision sur le fond (arrêt 5A_540/2020 du 29 septembre 2020 consid. 1.1). En l'espèce, la récusation de la juge intimée a été requise dans le cadre d' une procédure en dissolution du partenariat enregistré, à savoir une affaire sujette au recours en matière civile (art. 72 al. 1 LTF; arrêts 5A_427/2020 du 6 octobre 2020 consid. 1.1; 5A_197/2016 du 14 décembre 2016 consid. 1) de nature non pécuniaire, le principe de la dissolution du partenariat enregistré n'ayant pas encore été tranché (application par analogie du principe selon lequel lorsque le principe du divorce n'a pas encore été tranché, il s'agit d'une cause non pécuniaire; voir notamment arrêt 5A_727/2016 du 28 novembre 2016 consid. 1.1). Le présent recours a pour le surplus été interjeté en temps utile (art. 100 al. 1 LTF) et dans la forme requise (art. 42 al. 1 LTF) par une partie qui a succombé devant l'autorité précédente et a un intérêt à la modification ou à l'annulation de l'arrêt entrepris (art. 76 al. 1 LTF), contre une décision rendue sur recours en dernière instance cantonale par un tribunal supérieur (art. 75 al. 1 LTF). Le recours en matière civile est en principe recevable au regard des dispositions qui précèdent.
Le recourant qualifie son écriture d' "appel ". Cet intitulé erroné ne saurait lui porter préjudice, dès lors qu'il ressort clairement de son écriture que l'intéressé entend contester l'arrêt du 29 avril 2021 de la Cour de justice.
2.
2.1. Dans le cadre d'un recours contre une décision incidente, les motifs qui peuvent être invoqués sont limités dans la même mesure que pour le recours contre la décision principale (arrêts 5A_1019/2020 du 30 juin 2021 consid. 2.1; 5A_1051/2020 du 28 avril 2021 et les références). En l'espèce, la procédure dans le cadre de laquelle la requête de récusation a été introduite, à savoir une cause en dissolution du partenariat enregistré, n'est pas de nature provisionnelle. La cognition du Tribunal fédéral n'est donc pas restreinte à la violation des droits constitutionnels (<ref-ruling> consid. 1). Le recours en matière civile peut être formé pour violation du droit tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés (<ref-ruling> consid. 2.4 et les références); il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques qui pourraient se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.4 et les références). Le recourant doit par conséquent discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4 et la référence). Le Tribunal fédéral ne connaît par ailleurs de la violation de droits fondamentaux que si un tel grief a été expressément invoqué et motivé de façon claire et détaillée par le recourant (" principe d'allégation ", art. 106 al. 2 LTF; <ref-ruling> consid. 2.1; <ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si ceux-ci ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Le recourant qui soutient que les faits ont été établis d'une manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 6.7; <ref-ruling> consid. 2.2 et la référence), doit satisfaire au principe d'allégation susmentionné (art. 106 al. 2 LTF; cf. supra consid. 2.1). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-ruling> consid. 1.1).
Selon l'art. 99 al. 1 LTF, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Cette exception, dont il appartient au recourant de démontrer que les conditions sont remplies (<ref-ruling> consid. 1.1), vise les faits qui sont rendus pertinents pour la première fois par la décision attaquée, par exemple concernant le déroulement de la procédure devant l'instance précédente afin d'en contester la régularité, ou encore des faits postérieurs à l'arrêt attaqué permettant d'établir la recevabilité du recours (<ref-ruling> consid. 4.4.3).
3.
La Cour de justice a considéré qu'aucun recours n'avait été formé contre la demande d'avance de frais relative à la procédure de récusation et que le requérant n'avait pas non plus sollicité une extension, pour la procédure de récusation, de l'assistance judiciaire qu'il avait obtenue pour la procédure de dissolution du partenariat enregistré, étant relevé qu'il était assisté d'un avocat. Dès lors et conformément à l'art. 101 al. 3 CPC, le Tribunal était fondé à ne pas entrer en matière sur la demande de récusation, l'avance de frais n'ayant pas été versée dans le délai supplémentaire imparti et le requérant n'ayant pas sollicité le bénéfice de l'assistance judiciaire. La Cour de justice a ensuite relevé que l'argument soulevé par le requérant, selon lequel la Vice-présidente du Tribunal Sandrine Rohmer n'était pas fondée à examiner la demande de récusation, était sans fondement, ladite Vice-présidente n'ayant pas abordé le fond de la demande mais l'ayant déclarée irrecevable pour défaut de paiement de l'avance de frais. Enfin, la Cour de justice a réduit les frais judiciaires de première instance à 100 fr., considérant que le Tribunal ne pouvait, sans contrevenir au principe de la bonne foi, fixer un émolument de décision de 500 fr. après avoir, à deux reprises, indiqué au recourant qu'en cas de jugement d'irrecevabilité un émolument de 100 fr. à 200 fr. pourrait être perçu. Pour sa part, l'autorité de seconde instance cantonale a statué sans frais.
4.
Le recourant se plaint de ce que la demande de récusation de la Juge Karin Wirthner Zinggeler a été traitée par la Vice-Présidente Sandrine Rohmer et non par la Présidente Véronique Hiltpold. Il soutient que c'est cette dernière qui aurait dû se prononcer sur la demande de récusation, puisque la demande de récusation qu'il a introduite contre la Présidente Véronique Hiltpold n'a été examinée que le 20 novembre 2020 et a été rejetée. Dès lors cependant qu'il ne prétend pas avoir fait valoir des motifs de récusation à l'encontre de la Vice-Présidente Sandrine Rohmer, on ne voit pas ce qui s'opposerait à ce que celle-ci puisse traiter la demande de récusation litigieuse en l'espèce, étant en outre relevé que la critique du recourant se fonde notamment sur un fait qui ne ressort pas de l'arrêt entrepris, en particulier l'existence d'une ordonnance du 20 novembre 2020, à savoir un fait nouveau, irrecevable (cf. supra consid. 2.2).
5.
Le recourant considère que " les arrêts rendus en l'espèce sont illégaux et doivent être réexaminés ". Après avoir notamment développé des arguments sur son impécuniosité et quoi qu'il en soit sur ses difficultés pratiques à faire parvenir une avance de frais, il affirme que " L'arrêt du 29 octobre 2020 [le] prive injustement [...] de l'accès à la justice " et " le discrimine [...] dans l'accès à la justice en raison de sa situation économique et financière, en violation de la Constitution suisse et de la Convention européenne des Droits de l'Homme et des Libertés fondamentales ". Il ajoute qu'il est au bénéfice de l'assistance judiciaire pour la procédure de dissolution du partenariat enregistré, de sorte que le Tribunal était au courant de sa situation financière et n'avait aucune raison de lui demander une avance de frais. Enfin, la cour cantonale aurait à tort tenu compte de ce qu'il était assisté d'un avocat, alors que celui-ci avait refusé de s'occuper de la requête de récusation litigieuse, que le recourant indique avoir rédigé seul.
5.1. De manière générale, le CPC prévoit la possibilité pour le tribunal d'exiger du demandeur une avance à concurrence de la totalité des frais judiciaires présumés (art. 98 CPC). Le tribunal impartit un délai pour la fourniture des avances (art. 101 al. 1 CPC); si l'avance n'est pas fournie à l'échéance d'un délai supplémentaire, il n'entre pas en matière sur la demande ou la requête (art. 101 al. 3 CPC).
5.1.1. La décision incidente impartissant un délai pour régler l'avance des frais judiciaires est immédiatement exécutoire. Elle déploie son effet aussi longtemps qu'elle n'est pas contestée et que l'effet suspensif n'est pas accordé au recours formé contre elle (arrêt 4A_170/2016 du 10 mai 2016 in fine). Si la partie qui conteste le montant de l'avance de frais ne recourt pas immédiatement contre la décision relative à l'avance de frais et n'obtient pas l'effet suspensif, elle s'expose en principe au risque, compte tenu du caractère immédiatement exécutoire de ladite décision, de voir sa demande être déclarée irrecevable par le tribunal saisi en application de l'art. 101 al. 3 CPC (arrêts 4A_308/2021 du 10 juin 2021 consid. 5.3; 4A_185/2021 du 31 mars 2021 consid. 4.2).
5.1.2. En vertu du principe de la bonne foi (art. 5 al. 3 Cst.), celui qui laisse procéder et ne soulève pas devant l'autorité de dernière instance cantonale un grief lié à la conduite du procès ne peut en principe plus le soulever devant le Tribunal fédéral; il s'agit d'éviter qu'une partie garde en réserve un moyen en fonction de l'issue défavorable de la procédure alors qu'il aurait pu être signalé immédiatement (cf. <ref-ruling> consid. 2.1 in fine; voir aussi arrêt 5A_882/2017 du 1er février 2018 consid. 3). Cette approche est également valable s'agissant de la question du versement d'une avance de frais (arrêt 4A_185/2021 du 31 mars 2021 consid. 4.3).
5.2. Autant que le recourant critique le fait que le juge saisi ne se sera pas prononcé sur sa requête de récusation, faute de versement de l'avance de frais requise, partant, cas échéant, d'une violation de son droit à un procès équitable, et indépendamment de la question de savoir si tel est le grief soulevé, a fortiori s'il l'aurait été dans le respect des exigences de motivation du principe d'allégation (art. 106 al. 2 LTF), sa critique ne saurait porter pour les raisons qui suivent. Comme l'a relevé la Cour de justice, le recourant n'a pas contesté la décision du Tribunal du 20 août 2020 par laquelle une avance de frais lui était demandée, décision dans laquelle son attention avait au surplus été attirée sur le fait qu'il avait la possibilité de requérir l'assistance judiciaire. Or, s'il entendait faire valoir que l'examen de sa requête de récusation ne pouvait pas être conditionné au versement d'une avance de frais, qu'il n'avait pas la possibilité technique de verser l'avance requise, ou encore que la possibilité qui lui était offerte de demander le bénéfice de l'assistance judiciaire ne suffisait pas à garantir son accès à la justice, le recourant devait soulever ces griefs dans le cadre d'un recours contre la demande d'avance de frais, sous peine de forclusion. En contestant a posteriori le principe du versement d'une avance de frais, alors même qu'il n'a pas attaqué immédiatement la décision du 20 août 2020, ni celle du 15 octobre 2020 lui impartissant un délai de grâce pour régler l'avance de frais litigieuse, respectivement pour demander l'assistance judiciaire, le recourant a adopté un comportement incompatible avec le principe de la bonne foi procédurale (cf. supra consid. 5.1.1 et 5.1.2), et ce indépendamment du point de savoir s'il était ou non assisté d'un avocat. Dans ces circonstances, sa critique est rejetée, dans la mesure où elle est recevable. Vu les considérations qui précèdent, il n'y a pas lieu d' "annuler " les frais de justice de 100 fr. que l'autorité de première instance a mis à la charge du recourant, ainsi qu'il le demande.
6.
En conclusion, le recours est rejeté dans la faible mesure de sa recevabilité. Dès lors qu'il était d'emblée dénué de chances de succès, sa requête d'assistance judiciaire est rejetée (art. 64 al. 1 LTF). Les frais judiciaires sont mis à la charge du recourant qui succombe (art. 66 al. 1 LTF), étant relevé qu'il ne se justifie pas de statuer sans frais, comme semble le requérir le recourant lorsqu'il indique demander " à la cour d'annuler ses honoraires pour l'examen du présent recours ".

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
La requête d'assistance judiciaire du recourant est rejetée.
4.
Le présent arrêt est communiqué aux parties, à C._ et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 29 novembre 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Dolivo