Faits:
A. Dans le cadre du second tour de l'élection au Conseil d'Etat du canton de Fribourg (ci-après: le Conseil d'Etat) du 4 décembre 2011, les candidats des listes n° 2 "Parti socialiste fribourgeois (PS)", n° 4 "Parti chrétien-social (PCS)" et n° 7 "Les Verts" figuraient non seulement sur la liste issue de leur parti, mais également sur celles des deux autres partis.
Le 28 novembre 2011, A._ a déposé un recours auprès du Préfet du district de la Sarine contre l'élection précitée. Après que ce recours lui a été transmis comme objet de sa compétence, la Ire Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) l'a rejeté, dans la mesure de sa recevabilité, par arrêt du 20 décembre 2011.
B. Par acte du 3 janvier 2012, A._ a recouru contre cet arrêt auprès du Tribunal fédéral et demandé l'annulation de l'élection du 4 décembre 2011.
Le Tribunal cantonal et la Chancellerie d'Etat du canton de Fribourg concluent au rejet du recours, en renvoyant aux considérants de l'arrêt attaqué. Le recourant a répliqué par courrier du 20 mars 2012.

Considérant en droit:
1. En vertu de l'art. 82 let. c LTF, le Tribunal fédéral connaît des recours en matière de droit public concernant le droit de vote des citoyens ainsi que les élections et votations populaires. Citoyen du canton de Fribourg, le recourant a la qualité pour recourir (art. 89 al. 1 et 3 LTF). Interjeté en temps utile contre une décision finale prise en dernière instance cantonale non susceptible de recours devant le Tribunal administratif fédéral, le recours est recevable au regard des art. 86 al. 1 let. d, 90 et 100 al. 1 LTF.
2. De manière confuse, le recourant fait valoir une violation des art. 52 al. 2, 66 et 86 de la loi fribourgeoise sur l'exercice des droits politiques du 6 avril 2001 (LEDP; RSF 115.1). Il dénonce en particulier un prétendu "apparentement" illégal des listes électorales n° 2, n° 4 et n° 7. Il prétend qu'aucune loi ne permet à un candidat de porter sa candidature sur trois listes différentes.
2.1 Saisi d'un recours pour violation des droits politiques, le Tribunal fédéral revoit librement l'interprétation et l'application du droit fédéral et du droit constitutionnel cantonal, ainsi que des dispositions de rang inférieur qui sont étroitement liées au droit de vote, aux élections et aux votations ou en précisent le contenu et l'étendue (cf. art. 95 let. d LTF).
2.2 Le mémoire de recours doit contenir les conclusions et les motifs à l'appui de celles-ci (<ref-law>) sous peine d'irrecevabilité. Les conclusions doivent indiquer sur quels points la décision est attaquée et quelles sont les modifications demandées (<ref-ruling> consid. 3.1 et les arrêts cités). Les motifs doivent exposer succinctement en quoi l'acte attaqué viole le droit (<ref-law>). Pour satisfaire à ces exigences, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 3.3 p. 60; <ref-ruling> consid. 1.4.2 p. 254; <ref-ruling> consid. 1.4 p. 287). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 365 et les références citées).
Dans son écriture, le recourant ne discute pas les motifs avancés dans l'arrêt attaqué. Comme s'il plaidait devant une cour d'appel, il ne démontre pas concrètement et précisément en quoi et pour quel motif l'appréciation du Tribunal cantonal serait insoutenable. Il est dès lors douteux que ses griefs soient recevables. Peu importe au demeurant, puisque le recours est de toute façon mal fondé pour les motifs suivants.
2.3 L'art. 83 al. 1 LEDP prévoit que l'élection des membres du Conseil d'Etat a lieu selon le mode de scrutin majoritaire. Contrairement à ce que prétend le recourant, l'art. 66 LEDP régit expressément l'élection selon le mode de scrutin proportionnel et n'est pas applicable à l'élection selon le système majoritaire. S'agissant d'une élection ayant lieu selon le mode de scrutin majoritaire, il n'y a aucune possibilité d'apparentement puisque les suffrages des électeurs sont attribués uniquement aux candidats et non pas aux listes sur lesquelles ils apparaissent (voir ég. Pierre Garrone, L'élection populaire en Suisse, thèse 1991, p. 163).
Par ailleurs, l'intéressé soutient à tort que l'art. 52 al. 2 LEDP imposerait l'interdiction pour un candidat de se présenter sur plusieurs listes électorales. Cette disposition prévoit seulement que le signataire d'une liste électorale - à savoir la personne jouissant de l'exercice des droits politiques dans le cercle électoral en cause qui exprime son soutien en signant ladite liste - ne peut signer plus d'une liste.
Enfin, le recourant fait valoir sans plus de succès la violation de l'art. 86 al. 3 et 4 LEDP. En effet, cet article dispose que, si la personne exerçant son droit de vote utilise une liste imprimée, elle peut la modifier de sa main en biffant le nom de certaines personnes ou en y inscrivant celui d'autres personnes. L'alinéa 4 ajoute qu'il est interdit de porter le nom d'une même personne plus d'une fois sur la même liste. On ne voit pas en quoi cette disposition aurait été violée par les listes électorales litigieuses, puisque les citoyens fribourgeois avaient la possibilité de procéder au biffage des noms des candidats appartenant à un autre parti que celui figurant sur la liste.
Cela étant, le procédé utilisé par ces trois partis n'est certes pas dénué de toute ambiguïté dans la mesure où la dénomination de la liste par le nom du parti pourrait laisser entendre que tous les candidats figurant sur ladite liste sont membres dudit parti. Les électeurs étaient cependant suffisamment informés de l'appartenance politique de ces quatre candidats par les différentes brochures des partis politiques accompagnant le matériel électoral ainsi que par la campagne électorale menée par ceux-là. Cette diffusion d'informations a remédié au défaut du procédé dénoncé, ce d'autant plus que le nombre de candidats était en l'espèce peu élevé et qu'il s'agissait du second tour d'une élection.
3. Il s'ensuit que le recours est rejeté, dans la mesure de sa recevabilité. Le recourant qui succombe doit supporter les frais judiciaires (art. 65 et 66 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure de sa recevabilité.
2. Les frais judiciaires, arrêtés à 1'000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, à la Chancellerie d'Etat et à la Ire Cour administrative du Tribunal cantonal du canton de Fribourg.
Lausanne, le 27 mars 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Tornay Schaller