Faits : Par prononcé du 19 février 2014, le Conseil d'Etat du canton du Valais a rejeté le recours formé par A._ contre la décision du Service cantonal de la circulation routière et de la navigation du 28 mai 2013 ordonnant le retrait définitif de son permis de conduire. Statuant comme juge unique, le Président de la Cour de droit public du Tribunal cantonal valaisan a déclaré irrecevable le recours déposé par A._ contre ce prononcé au terme d'un arrêt rendu le 24 mars 2014. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler cet arrêt et de renvoyer la cause au Tribunal cantonal pour nouveau jugement dans le sens des considérants. Le Conseil d'Etat conclut au rejet du recours dans la mesure où il est recevable. Le Tribunal cantonal et le Service de la circulation routière et de la navigation ont renoncé à se déterminer.