Faits: A. Dans le cadre du second tour de l'élection au Conseil d'Etat du canton de Fribourg (ci-après: le Conseil d'Etat) du 4 décembre 2011, les candidats des listes n° 2 "Parti socialiste fribourgeois (PS)", n° 4 "Parti chrétien-social (PCS)" et n° 7 "Les Verts" figuraient non seulement sur la liste issue de leur parti, mais également sur celles des deux autres partis. Le 28 novembre 2011, A._ a déposé un recours auprès du Préfet du district de la Sarine contre l'élection précitée. Après que ce recours lui a été transmis comme objet de sa compétence, la Ire Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) l'a rejeté, dans la mesure de sa recevabilité, par arrêt du 20 décembre 2011. B. Par acte du 3 janvier 2012, A._ a recouru contre cet arrêt auprès du Tribunal fédéral et demandé l'annulation de l'élection du 4 décembre 2011. Le Tribunal cantonal et la Chancellerie d'Etat du canton de Fribourg concluent au rejet du recours, en renvoyant aux considérants de l'arrêt attaqué. Le recourant a répliqué par courrier du 20 mars 2012.