Faits:
A. Le Juge d'instruction du canton de Fribourg B._ instruit une procédure pénale pour calomnie, subsidiairement diffamation, à l'encontre de C._ et de D._, sur plaintes de A._. Par lettre du 21 juillet 2008, A._ a déposé une première demande de récusation notamment du Juge B._, laquelle a été rejetée le 25 août 2008 par le Vice-président de l'Office des juges d'instruction du canton de Fribourg (ci-après: le Vice-président). Le Tribunal fédéral a confirmé cette décision, par arrêt du 13 novembre 2008 (1B_246/2008).
Par courrier du 18 mars 2010 adressé au Tribunal cantonal du canton de Fribourg, A._ a derechef requis la récusation du Juge d'instruction B._, au motif que celui-ci est affilié au même parti politique que D._. Cette requête a été transmise au Juge d'instruction B._, qui l'a remise au Vice-président de l'Office des juges d'instruction fribourgeois. Par lettre du 1er avril 2010, le Juge d'instruction B._ s'est opposé à la récusation.
B. Par décision du 23 avril 2010, le Vice-Président a rejeté la demande de récusation, dans la mesure de sa recevabilité. Il a considéré en substance qu'aucun élément ne permettait de retenir que le magistrat visé puisse être tenté de favoriser D._ du seul fait qu'il soit membre du même parti politique; de plus, le Juge B._ ne se trouvait pas dans un rapport d'amitié étroite ou d'inimitié personnelle avec une des parties. Quant à C._, il n'était pas affilié au même parti politique.
C. Par acte du 5 mai 2010, A._ forme un recours contre la décision du 23 avril 2010. II en demande l'annulation, ainsi que la récusation du Juge d'instruction B._, dans le cadre de ses plaintes contre C._ et D._.
Le Vice-Président conclut au rejet du recours. Le Juge B._ se réfère aux observations déposées devant l'instance précédente. Le recourant a répliqué, sans y avoir été invité.

Considérant en droit:
1. Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un juge pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le plaignant et auteur de la demande de récusation a qualité pour agir (<ref-law>). Il a agi dans le délai de trente jours prescrit à l'<ref-law>. La décision attaquée est rendue en dernière instance cantonale, puisque le droit fribourgeois ne prévoit pas encore d'instance de recours au sens de l'<ref-law>; cela est admissible, tant que le délai prévu à l'<ref-law> n'est pas échu. Il y a donc lieu d'entrer en matière sur le fond.
2. Le recourant met d'abord en doute l'objectivité du Vice-président pour apprécier la récusation "de l'un de ses collaborateurs".
2.1 Selon la jurisprudence relative à l'art. 30 al. 1 Cst., le juge dont la récusation est demandée ne devrait en principe pas participer à la décision à rendre à ce sujet (ATF 122 Il 471 consid. 2b p. 476; 114 la 278; 105 lb 301 consid. 1b p. 303). La jurisprudence admet toutefois une exception à ce principe: une autorité dont la récusation est demandée en bloc peut écarter elle-même la requête lorsque celle-ci est abusive ou manifestement mal fondée (<ref-ruling> consid. 4.2.2 p. 646 et les arrêts cités; 114 la 278 consid. 1 p. 279; 105 lb 301 consid. 1c et d p. 304). Le caractère abusif ou manifestement infondé de la demande de récusation ne doit pas être admis trop facilement, car il s'agit d'une exception au principe selon lequel le juge dont la récusation est demandée ne doit pas faire partie de la composition de l'autorité chargée de statuer sur son déport (cf. arrêt non publié 1P.553/2001 du 12 novembre 2001, consid. 2b). Est notamment abusif le comportement de la partie qui entreprend de récuser systématiquement et sans discernement ses juges, en cherchant à paralyser le fonctionnement de l'appareil judiciaire (arrêt 1P.391/2001 du 21 décembre 2001, consid. 3.1).
2.2 En l'occurrence, le recourant invoque à l'appui de son grief des motifs généraux de collégialité. Or, ceux-ci ne sont pas propres à eux seuls à fonder une demande de récusation; cela ressort tant de la jurisprudence constante (ATF 105 lb 301 consid. 1d p. 304) que du texte même de la loi, qui charge le suppléant du Président de l'Office des juges d'instruction de statuer sur la récusation de ce magistrat (art. 57 al. 1 let. d de la loi fribourgeoise d'organisation judiciaire du 22 novembre 1949 [LOJ; RSF 131.0.1]). Le grief doit donc être écarté.
3. Ensuite, le recourant voit un motif de prévention dans le fait que le Juge B._ et D._ sont affiliés au même parti politique. L'intéressé, qui agit sans avocat, se plaint implicitement d'une violation des art. 30 al. 1 Cst., 6 par. 1 CEDH et 54 de la loi fribourgeoise d'organisation judiciaire du 22 novembre 1949 (LOJ; RSF 131.0.1).
3.1 La garantie d'un procès équitable (art. 30 al. 1 Cst. et 6 par. 1 CEDH) réserve notamment au justiciable le droit à ce que sa cause soit jugée par un magistrat indépendant et impartial. Cela permet d'exiger la récusation d'un juge dont la situation ou le comportement est de nature à faire naître des doutes sur son impartialité, et tend à éviter que des circonstances extérieures ne puissent influer sur le jugement, en faveur ou en défaveur d'une partie. La récusation ne s'impose pas seulement lorsqu'une prévention effective du juge est établie, une telle disposition interne ne pouvant guère être prouvée; il suffit que les circonstances donnent l'apparence de prévention et fassent redouter, objectivement, une attitude partiale du magistrat (<ref-ruling> consid. 2.1 et les arrêts cités).
S'agissant des obligations d'indépendance et d'impartialité d'un juge d'instruction, l'art. 29 al. 1 Cst. présente des garanties similaires à celles qui sont posées à l'égard des autorités judiciaires proprement dites (art. 6 CEDH et 30 Cst.). Le magistrat doit instruire à charge et à décharge et est tenu à une certaine impartialité. Toutefois, au contraire du juge appelé à s'exprimer en fait et en droit sur le fond de la cause, lequel doit en principe s'en tenir à une attitude parfaitement neutre, le juge d'instruction peut être amené, provisoirement du moins, à adopter une attitude plus orientée à l'égard de l'inculpé. Il peut faire état de ses doutes quant à la version des faits présentée, mettre le prévenu en face de certaines contradictions, et tenter de l'amener aux aveux, pour autant qu'il ne soit pas fait usage de moyens déloyaux. Le juge d'instruction ne fait donc pas preuve de partialité lorsqu'il fait état de ses convictions à un moment donné de l'enquête; cela peut au contraire s'avérer nécessaire à l'élucidation des faits. Le magistrat instructeur doit ainsi se voir reconnaître, dans le cadre de ses investigations, une certaine liberté, limitée par l'interdiction des procédés déloyaux et la nécessité de ne point avantager une partie au détriment d'une autre. Les déclarations et interventions du juge doivent ainsi être interprétées de manière objective, en tenant compte de leur contexte, de leurs modalités et du but apparemment recherché par leur auteur (arrêt 1P.334/2002 du 3 septembre 2002 publié in SJ 2003 I p. 174).
Enfin, le Tribunal fédéral a toujours admis que la simple affiliation d'un juge à un parti politique, auquel appartient également une partie à la procédure, ne suffit pas à mettre objectivement en doute l'impartialité de ce magistrat si elle ne s'accompagne pas d'autres éléments permettant d'admettre qu'elle puisse exercer une influence négative sur l'issue de la procédure; la personne élue ou nommée à une fonction judiciaire est censée capable de prendre le recul nécessaire par rapport à de tels liens ou affinités et de se prononcer de manière objective sur le litige qui divise les parties (cf. arrêts 1B_52/2008 du 2 juin 2008 consid. 1.3; 1P.3/2006 du 19 janvier 2006 consid. 3; 1P.739/ 2006 du 7 novembre 2006 consid. 6).
3.2 Dans le canton de Fribourg, aux termes de l'art. 54 LOJ, un magistrat peut être récusé par une partie ou se récuser lui-même notamment s'il se trouve avec une partie dans un rapport d'amitié étroite ou d'inimitié personnelle, d'obligation ou de dépendance particulière (let. a) ou si d'autres motifs sérieux rendent douteuse son impartialité (let. c).
Saisi du grief de la violation du droit à un juge indépendant et impartial, le Tribunal fédéral n'examine l'application du droit cantonal que sous l'angle de l'arbitraire (art. 9 Cst.; pour la définition de l'arbitraire, cf. <ref-ruling> consid. 8 p. 42 et les arrêts cités). Il apprécie en revanche librement la compatibilité de la procédure suivie en l'espèce avec les garanties constitutionnelles offertes en cette matière (<ref-ruling> consid. 3b p. 73 et la jurisprudence cités).
3.3 Aux termes de l'<ref-law>, le mémoire de recours doit contenir les conclusions et les motifs à l'appui de celles-ci. Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit (art. 42 al. quoi LTF). Pour satisfaire à cette obligation de motiver, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit; il faut qu'à la lecture de son exposé, on comprenne clairement quelles règles de droit auraient été, selon lui, transgressées par l'autorité cantonale (cf. <ref-ruling> consid. 2.1 p. 245 s.; <ref-ruling> consid. 3.3).
3.4 En l'espèce, le recourant consacre son écriture à dénoncer la complicité d'un parti politique et de certains de ses membres. Il se borne à avancer que "les connivences, les rapports aux liens hiérarchiques qui unissaient le Juge B._ à son ancien chef politique ou les vrais liens d'amitié qu'ils ont pu tisser durant leur collaboration professionnelle n'ont rien à voir avec des affinités superficielles". Il soutient encore qu'il se trouve "face à une union d'individus dont la volonté absolue est de vouloir défendre un membre de leur corporation". II tente d'en déduire que C._ et D._ bénéficieraient de la complicité du pouvoir judiciaire, mais se limite à des accusations gratuites, sans chercher à contredire les motifs retenus dans la décision attaquée, notamment le fait que C._ n'est pas membre du même parti politique que le Juge B._ et que celui-ci ne se trouve pas dans un rapport d'amitié étroite avec D._. Partant, il ne fait valoir aucun élément concret qui permettrait de retenir que le Juge B._ soit tenté d'examiner la cause avec un préjugé défavorable à son égard et qu'il entendrait favoriser D._ du seul fait qu'il soit membre du même parti politique. Son argumentation - pour autant qu'elle réponde aux exigences de motivation de l'<ref-law> - n'est pas objectivement de nature à faire douter de l'impartialité du juge mis en cause.
4. Il s'ensuit que le recours doit être rejeté, dans la mesure de sa recevabilité. Vu les circonstances et à titre exceptionnel, le recourant est exempté du paiement des frais judiciaires (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Il n'est pas perçu de frais judiciaires.
3. Le présent arrêt est communiqué au recourant, au Juge d'instruction B._ et au Vice-Président de l'Office des juges d'instruction du canton de Fribourg.
Lausanne, le 23 juin 2010
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Féraud Tornay Schaller