Sachverhalt: A. Am 9. Juni und 13. Juli 2010 reichte die M._ AG (Bauherrin) beim Stadtrat Altstätten ein Gesuch ein, auf den Grundstücken Nr. 415 und 59 des Grundbuchs Altstätten den Abbruch der bestehenden Gebäude und den Neubau eines Mehrfamilienhauses mit Tiefgarage zu bewilligen. Dagegen erhoben A._, C.B._ und B.B._, D._, F.E._ und E.E._, H.G._ und G.G._, J.I._ und I.I._ sowie L.K._ und K.K._ Einsprache. In diesem Zusammenhang verfügte der Stadtrat Altstätten am 15. Oktober 2012 eine Sichtzone über die Grundstücke Nr. 46, 401-410 und 605 des Grundbuchs Altstätten und erliess den Teilstrassenplan "Erlenweg". Gegen den Erlass der Sichtzone und den Teilstrassenplan erhoben A._ sowie B.B._ und C.B._ fristgerecht Einsprache. Mit Beschlüssen vom 18. März 2013 erteilte der Stadtrat Altstätten der Bauherrin die von ihr verlangte Baubewilligung unter Bedingungen und Auflagen und wies die Einsprachen gegen das Bauprojekt, die Sichtzone und den Teilstrassenplan ab. B. Gegen die Beschlüsse des Stadtrats vom 18. März 2013 erhoben A._, B.B._ und C.B._, D._, E.E._ und F.E._, H.G._ und G.G._, J.I._ und I.I._ sowie L.K._ und K.K._ (Rekurrenten) am 18. April 2013 drei Rekurse beim Baudepartement des Kantons St. Gallen. Bezüglich der Wahrung der Rekursfrist beriefen sich die Rekurrenten auf die Gerichtsferien. Nachdem das Baudepartement den Rekurrenten mitgeteilt hatte, vor den Verwaltungsbehörden würden keine Gerichtsferien gelten, ersuchten die Rekurrenten in den Rekursverfahren um Wiederherstellung der Rekursfrist. Mit Entscheid vom 3. Juni 2013 vereinigte das Baudepartement die Rekursverfahren, wies die Gesuche um Wiederherstellung der Rekursfrist ab und trat auf die Rekurse nicht ein. Eine dagegen von den Rekurrenten erhobene Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen mit Urteil vom 8. November 2013 ab. C. Die Rekurrenten (Beschwerdeführer) erheben beim Bundesgericht Beschwerde mit den Anträgen, den Entscheid des Verwaltungsgerichts vom 8. November 2013 aufzuheben und dieses zu verpflichten, das Baudepartement anzuweisen, auf die Rekurse einzutreten und den Rekurrenten Frist zu Begründung der Rekurse anzusetzen. Eventuell habe das Verwaltungsgericht das Baudepartement anzuweisen, die Rekursfrist wiederherzustellen und den Rekurrenten Frist zur Begründung anzusetzen. Das Baudepartement und das Verwaltungsgericht beantragen, die Beschwerde abzuweisen. Die M._ AG (Beschwerdegegnerin) schliesst sich den Feststellungen der Vorinstanzen an.