Faits : A. A._ est employé par l'Etat de Vaud depuis le 1 er juin 1999. Il est en incapacité de travail à 100 % depuis le mois de septembre 2011. En 2012, son salaire mensuel brut s'élevait, pour une activité à 100 %, à 5'701 fr. 08 versé treize fois l'an. Par courriers des 24 août et 2 novembre 2012, l'Etat de Vaud a informé A._ que la durée de son arrêt de travail impliquait la réduction à 80 % de son salaire à compter du 28 août 2012, respectivement sa suppression dès le 23 novembre 2012. Par demande du 24 janvier 2013, l'intéressé a contesté ces décisions devant le Tribunal de prud'hommes de l'Administration cantonale (ci-après: Tripac) en concluant à leur annulation et au versement d'une indemnité pour tort moral d'un montant de 10'000 fr. Par décision du 13 août 2013, le Président du Tripac a invité le demandeur à effectuer le versement de 15'192 fr. 10 à titre d'avance de frais pour la procédure engagée, dans un délai échéant au 10 septembre 2013. B. Le demandeur ayant recouru contre cette décision, la Chambre des recours civile du canton de Vaud a rejeté le recours par arrêt du 14 novembre 2013. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation et le renvoi de la cause à la juridiction cantonale pour nouvelle décision. L'Etat de Vaud conclut au rejet du recours.