Sachverhalt: A. A._ und B._ sind Eigentümer der nordwestlich des Stadtweihers von Wil/SG an der Scheibenbergstrasse 15 gelegenen Parzelle Nr. 1582. Das in der zweigeschossigen Wohnzone W2 gelegene, 1'087 m2 grosse Grundstück ist mit einem Einfamilienhaus überbaut. Es grenzt im Westen an die überbauten Parzellen Nr. 1583 von BY._ und CY._ (Scheibenbergstrasse 17) und Nr. 1501 von AY._ (Scheibenbergstrasse 13). Im Süden und im Westen grenzt es an die Parzelle Nr. 1164, im Westen zudem an die Parzelle Nr. 1374, welche beide der Stadt Wil gehören und in der Grünzone liegen. Ein 158 m2 grosser, L-förmig an die Süd- und Ostgrenze der Parzelle Nr. 1582 anschliessender Teil der Parzelle Nr. 1374 ist mit einer Grunddienstbarkeit zu Gunsten der Parzelle Nr. 1582 belastet, die den jeweiligen Grundeigentümern ein zeitlich unbeschränktes, ausschliessliches Nutzungsrecht einräumt. Erschlossen ist die Parzelle Nr. 1582 über eine Privatstrasse, welche in die Scheibenbergstrasse mündet. Am 8. Januar 2007 reichten AX._ und BX._ ein Baugesuch für die Errichtung eines Einfamilienhauses auf dem südlichen Teil der Parzelle Nr. 1582 ein. AY._ sowie BY._ und CY._ erhoben gegen das Bauprojekt Einsprache. Am 7. Dezember 2007 erteilte die Baukommission der Stadt Wil AX._ und BX._ unter Bedingungen und Auflagen die Baubewilligung für ein überarbeitetes Projekt. Die Einsprachen von AY._ sowie BY._ und CY._ wies sie ab. Am 24. Februar 2009 wies das Departement des Innern des Kantons St. Gallen die Rekurse von AY._ sowie BY._ und CY._ gegen die Baubewilligung ab. AY._ sowie BY._ und CY._ erhoben dagegen Beschwerden ans Verwaltungsgericht des Kantons St. Gallen, welches sie am 3. Dezember 2009 guthiess und die Entscheide der Baukommission vom 7. Dezember 2007 und des Departementes des Innern vom 24. Februar 2009 aufhob. B. Mit Beschwerde vom 1. Februar 2010 beantragen AX._ und BX._, diesen Entscheid des Verwaltungsgerichts aufzuheben und ihr Baugesuch gutzuheissen oder die Sache eventuell ans Verwaltungsgericht zur Neubeurteilung zurückzuweisen. Das Verwaltungsgericht beantragt in seiner Vernehmlassung, die Beschwerde abzuweisen. Das Departement des Innern beantragt, den Entscheid des Verwaltungsgerichts aufzuheben und das Baugesuch von AX._ und BX._ gutzuheissen, oder die Sache eventuell zur Neubeurteilung an dieses zurückzuweisen. AY._ sowie BY._ und CY._ beantragen, die Beschwerde abzuweisen.