Sachverhalt: A. Der Gemeinderat Walenstadt bewilligte der politischen Gemeinde Walenstadt am 2. September 2004 die Errichtung eines Kinderspielplatzes auf dem Grundstück Nr. 912 und eines asphaltierten Hartplatzes auf dem angrenzenden Grundstück Nr. 930. Diese Grundstücke liegen neben einem ehemaligen Schulhaus in der Zone für öffentliche Bauten und Anlagen. Mit Eingabe vom 14. Juni 2006 gelangten unter anderem die Eheleute X._, Eigentümer des unmittelbar an den Hartplatz angrenzenden, in der Wohnzone W2 gelegenen Grundstücks Nr. 926, an das Bausekretariat Walenstadt. Sie beanstandeten, dass die Nutzung des Hartplatzes und des Kinderspielplatzes ohne Bewilligung erweitert werde. Sie beantragten insbesondere die Durchführung eines Baubewilligungsverfahrens für unbewilligte Änderungen sowie vorsorgliche Massnahmen (Baueinstellungsverfügung und Nutzungsverbot) und die Entfernung von rechtswidrigen Anlageteilen. Nach Durchführung eines Augenscheins teilte der Gemeinderat Walenstadt den Eheleuten X._ mit, für das Spielfeld sei weder ein nachträgliches Baubewilligungsverfahren noch ein Nutzungsverbot nötig. Nach weiterer Korrespondenz zwischen der Gemeinde und den betroffenen Nachbarn ersuchten diese am 2. November 2006 den Gemeinderat Walenstadt, bis zum 15. November 2006 eine anfechtbare Verfügung zu erlassen. Nachdem die Gemeinde diesem Gesuch nicht nachkam, erhoben unter anderem die Eheleute X._ beim Baudepartement des Kantons St. Gallen eine Rechtsverweigerungsbeschwerde. Sie beantragten, die Gemeinde sei anzuhalten, über die am 14. Juni 2006 beantragten vorsorglichen Massnahmen zu entscheiden. Weiter verlangten sie die Durchführung eines nachträglichen Baubewilligungsverfahrens für die Umnutzung-/Nutzungserweiterung des Hartplatzes und für die in Abweichung von der Baubewilligung vom 2. September 2004 erstellten Anlageteile und Geländeveränderungen. Mit Schreiben vom 20. Juni 2007 rügten die Beschwerdeführer beim Gemeinderat Walenstadt, dass auf dem Hartplatz ohne Bewilligung Basketballkörbe aufgestellt würden. Sie beantragten die umgehende Einstellung der Bauarbeiten. Diese Beanstandung beantwortete der Gemeinderat Walenstadt mit Hinweis auf die rechtskräftige Bewilligung des Spielplatzes, worauf die Eheleute X._ am 27. Juni 2007 beim Baudepartement eine aufsichtsrechtliche Anzeige gegen den Gemeinderat Walenstadt einreichten. Das Baudepartement trat am 17. März 2008 auf die Rechtsverweigerungsbeschwerde nicht ein (Ziff. 2) und gab der aufsichtsrechtlichen Anzeige gegen den Gemeinderat Walenstadt keine Folge (Ziff. 3). Dagegen erhoben unter anderem die Eheleute X._ Rekurs bei der Regierung des Kantons St. Gallen. Diese gab der aufsichtsrechtlichen Anzeige mit Beschluss vom 21. Oktober 2008 ebenfalls keine Folge (Ziff. 1) und wies den Rekurs im gleichen Beschluss ab, soweit sie darauf eintrat (Ziff. 2). B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 24. November 2008 beantragten die Eheleute X._ dem Bundesgericht, der Entscheid der Regierung vom 21. Oktober 2008 sei aufzuheben, ihr Rekurs an die Regierung sei in Bezug auf die nachträglich errichteten Handballtore und Basketballkörbe gutzuheissen und die Gemeinde Walenstadt sei zu verpflichten, das ordentliche Baubewilligungsverfahren einzuleiten. Sie rügten insbesondere, es sei zu Unrecht kein Baubewilligungsverfahren für die umstrittenen Änderungen des Spielplatzes durchgeführt worden. Mit Urteil 1C_540/2008 vom 26. März 2009 trat das Bundesgericht auf die Beschwerde mangels Letztinstanzlichkeit nicht ein und überwies die Sache an das kantonale Verwaltungsgericht. C. Das Verwaltungsgericht hiess die Beschwerde mit Urteil vom 24. Februar 2010 im Sinne der Erwägungen teilweise gut. Es hob Ziff. 2 des Entscheids der Regierung vom 21. Oktober 2008 und Ziff. 2 des Entscheids des Baudepartements vom 17. März 2008 auf, soweit die Basketballkörbe und die Volleyballanlage betroffen sind. Das Baudepartement wies es an, die Rechtsverweigerungsbeschwerde bezüglich dieser Anlageteile und deren Auswirkungen materiell zu behandeln. Sodann hat das Baudepartement nach diesem Urteil zu prüfen, wann versenkbare Handballtore installiert worden sind und diesem Umstand gegebenenfalls im Rahmen der Gesamtbeurteilung Rechnung zu tragen. Im Übrigen wies das Verwaltungsgericht die Beschwerde ab. Die Abweisung der Beschwerde betrifft insbesondere die Fragen der Nichtigkeit der Baubewilligung und der teilweisen Verwirkung der Rechtsmittelfrist für die Rechtsverweigerungsbeschwerde. Weiter behaftete das Verwaltungsgericht die Gemeinde auf ihrer Zusicherung, die Natursteinmauer den bewilligten Plänen anzupassen. D. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiärer Verfassungsbeschwerde vom 14. April 2010 beantragen die Eheleute X._, das Urteil des Verwaltungsgerichts vom 24. Februar 2010 sei aufzuheben und die Angelegenheit im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. Sie machen im Wesentlichen geltend, das Verwaltungsgericht habe die Nichtigkeit der Baubewilligung zu Unrecht verneint und sei fälschlicherweise von der teilweisen Verwirkung der Rechtsmittelfrist für die Rechtsverweigerungsbeschwerde ausgegangen. E. Das Verwaltungsgericht beantragt, auf die Beschwerde betreffend Rechtsverweigerung sei nicht einzutreten, weil diesbezüglich kein Endentscheid im Sinne von Art. 90 BGG vorliege; im Übrigen sei die Beschwerde abzuweisen. Das Departement des Innern des Kantons St. Gallen beantragt, die Beschwerde abzuweisen. Die Politische Gemeinde Walenstadt stellt den Antrag, die Beschwerde abzuweisen, soweit darauf einzutreten sei. In einer weiteren Eingabe halten die Beschwerdeführer an ihren Anträgen und deren Begründung fest.