Faits: A. Le 29 octobre 2013, A._ a déposé deux recours auprès de la Cour de droit administratif et public du Tribunal cantonal (ci-après: la CDAP), l'un contre une décision rendue par les Archives cantonales vaudoises le 23 octobre 2013 et l'autre contre une décision de la cheffe du Département cantonal de la formation, de la jeunesse et de la culture du 4 novembre 2013. B. Par requêtes adressées les 20 et 28 novembre 2013 à la présidente de la CDAP III et au Tribunal cantonal, l'intéressé a demandé la récusation de la CDAP II dans le cadre de l'instruction de ces nouvelles causes. Il faisait valoir que cette cour avait déjà instruit la "cause connexe GE.2012.0185", que son approche des nouveaux litiges était de ce fait nécessairement biaisée et qu'une récusation était par conséquent indispensable pour garantir un traitement impartial. La Cour administrative du Tribunal cantonal (ci-après: la Cour administrative) a rejeté ces demandes par arrêt du 24 janvier 2014, considérant en substance qu'il n'existait aucun motif de récusation. C. Le 24 février 2014, A._ a recouru contre l'arrêt précité auprès du Tribunal fédéral. Il réitère sa demande visant à faire récuser les magistrats Kaltenrieder et Zimmermann. La Cour administrative ainsi que les trois juges interpellés dans le cadre de cette procédure ont renoncé à se déterminer.