Sachverhalt:
A. A._ und B._ sind Eigentümer der nordwestlich des Stadtweihers von Wil/SG an der Scheibenbergstrasse 15 gelegenen Parzelle Nr. 1582. Das in der zweigeschossigen Wohnzone W2 gelegene, 1'087 m2 grosse Grundstück ist mit einem Einfamilienhaus überbaut. Es grenzt im Westen an die überbauten Parzellen Nr. 1583 von BY._ und CY._ (Scheibenbergstrasse 17) und Nr. 1501 von AY._ (Scheibenbergstrasse 13). Im Süden und im Westen grenzt es an die Parzelle Nr. 1164, im Westen zudem an die Parzelle Nr. 1374, welche beide der Stadt Wil gehören und in der Grünzone liegen. Ein 158 m2 grosser, L-förmig an die Süd- und Ostgrenze der Parzelle Nr. 1582 anschliessender Teil der Parzelle Nr. 1374 ist mit einer Grunddienstbarkeit zu Gunsten der Parzelle Nr. 1582 belastet, die den jeweiligen Grundeigentümern ein zeitlich unbeschränktes, ausschliessliches Nutzungsrecht einräumt. Erschlossen ist die Parzelle Nr. 1582 über eine Privatstrasse, welche in die Scheibenbergstrasse mündet.
Am 8. Januar 2007 reichten AX._ und BX._ ein Baugesuch für die Errichtung eines Einfamilienhauses auf dem südlichen Teil der Parzelle Nr. 1582 ein. AY._ sowie BY._ und CY._ erhoben gegen das Bauprojekt Einsprache.
Am 7. Dezember 2007 erteilte die Baukommission der Stadt Wil AX._ und BX._ unter Bedingungen und Auflagen die Baubewilligung für ein überarbeitetes Projekt. Die Einsprachen von AY._ sowie BY._ und CY._ wies sie ab.
Am 24. Februar 2009 wies das Departement des Innern des Kantons St. Gallen die Rekurse von AY._ sowie BY._ und CY._ gegen die Baubewilligung ab.
AY._ sowie BY._ und CY._ erhoben dagegen Beschwerden ans Verwaltungsgericht des Kantons St. Gallen, welches sie am 3. Dezember 2009 guthiess und die Entscheide der Baukommission vom 7. Dezember 2007 und des Departementes des Innern vom 24. Februar 2009 aufhob.
B. Mit Beschwerde vom 1. Februar 2010 beantragen AX._ und BX._, diesen Entscheid des Verwaltungsgerichts aufzuheben und ihr Baugesuch gutzuheissen oder die Sache eventuell ans Verwaltungsgericht zur Neubeurteilung zurückzuweisen.
Das Verwaltungsgericht beantragt in seiner Vernehmlassung, die Beschwerde abzuweisen. Das Departement des Innern beantragt, den Entscheid des Verwaltungsgerichts aufzuheben und das Baugesuch von AX._ und BX._ gutzuheissen, oder die Sache eventuell zur Neubeurteilung an dieses zurückzuweisen. AY._ sowie BY._ und CY._ beantragen, die Beschwerde abzuweisen.

Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher (<ref-law>) Entscheid über eine Baubewilligung, mithin eine öffentlich-rechtliche Angelegenheit im Sinne von <ref-law>. Ein Ausschlussgrund nach <ref-law> liegt nicht vor. Die Beschwerdeführer rügen die Verletzung von Bundesrecht, insbesondere des Raumplanungsrechts, was zulässig ist (<ref-law>). Als Parteien des vorinstanzlichen Verfahrens und Adressaten des abschlägigen Baubescheids sind sie beschwerdebefugt (<ref-law> ). Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, womit auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten einzutreten ist.
2. Das Verwaltungsgericht hat im angefochtenen Entscheid verschiedene Vorbringen der Beschwerdegegner gegen die Baubewilligung verworfen oder offen gelassen. Als begründet beurteilt hat es einzig den Einwand, das Bauvorhaben beanspruche unzulässigerweise einen Teil der angrenzenden Grünzone für Wohnzwecke.
2.1 Das geplante Einfamilienhaus hält einen Abstand von 30 - 50 cm zur südlichen und einen solchen von 2 - 2.5 m zur östlichen Parzellengrenze ein; der Sitzplatz an der Südostecke stösst direkt an die Parzellen- und Zonengrenze. Die Stadt Wil hat in der Baubewilligung (S. 9) vom 7. Dezember 2007 erwogen, nach dem zu beurteilenden, abgeänderten Projekt seien weder Bauten noch Terrainveränderungen in der Grünzone vorgesehen. Damit bilde die Beanspruchung der Grünzone nicht mehr Teil des Baubewilligungsverfahrens, weshalb die Einsprachen gegen deren Einbezug in die bauliche Nutzung gegenstandslos geworden seien. Das Departement des Innern schützte in seinem Rekursentscheid diesen Standpunkt mit der Begründung, nach dem bewilligten Projekt seien in der Grünzone keine baubewilligungspflichtigen Massnahmen vorgesehen.
2.2 Das Verwaltungsgericht hat demgegenüber erwogen (S. 15 ff.), bereits die Positionierung des Einfamilienhauses unmittelbar an der Bauzonengrenze habe die Nutzung der Grünzone zur Folge. Sowohl die Küche als auch das Wohn-/Esszimmer hätten Ausgänge direkt in die Grünzone. Es sei daher offenkundig, dass der südlich an das Wohnhaus angrenzende Freiraum von den Hausbewohnern als Garten bzw. Aufenthaltsort benützt würde. Andernfalls wären die beiden dahinführenden Türen völlig sinnlos. Auch für den Gebäudeunterhalt sei die Benützung der Grünzone unumgänglich. Selbst wenn auf dieser Gartenfläche keine baulichen Massnahmen getroffen bzw. keine künstlich gestalteten Gartenanlagen errichtet würden, sei dieser Umschwung aufgrund der konkreten Umstände funktional dem Nutzungsbereich des Wohnhauses zuzuordnen, was sich auch daraus ergebe, dass sich die Beschwerdeführer das exklusive Nutzungsrecht an dieser Fläche für Fr. 250.-- pro m2 gesichert hätten. Im Dienstbarkeitsvertrag sei zudem festgehalten worden, dass die besagte Fläche der Erhaltung und Schaffung von Sport-, Park- und Erholungsanlagen gemäss Art. 17 Abs. 1 lit. b des Baugesetzes des Kantons St. Gallen vom 6. Juni 1972 (BauG) diene. Das sei zwar fragwürdig, weil dadurch dieser Teil der Grünzone einer besonderen Zweckbestimmung zugeführt werden solle, was nach Art. 17 Abs. 2 BauG eine Änderung des Zonenplanes voraussetze. Der Dienstbarkeitsvertrag bezwecke aber jedenfalls, den Bewohnern des geplanten Hauses zu ermöglichen, einen Teil des in der Grünzone gelegenen städtischen Grundstücks für Wohnzwecke im weiteren Sinn, nämlich die Erstellung einer Gartenanlage, zu nutzen. Der dienstbarkeitsbelastete Teil der Grünzone sei damit funktionell Bestandteil des Einfamilienhauses. Auch wenn nicht zwingend die gesamte Gartenanlage einer Wohnbaute in der Bauzone liegen müsse, sei vorliegend die Gartennutzung mit der im Dienstbarkeitsvertrag vorgesehenen Möglichkeit zur Erstellung von Bauten in der Grünzone unzulässig.
2.3 Nach Art. 17 Abs. 1 BauG umfassen Grünzonen Gebiete, die nicht überbaut werden dürfen. Sie dienen der Freihaltung von Flächen vor Überbauung, insbesondere zwecks Gliederung des Siedlungsgebiets (lit. a), der Erhaltung und Schaffung von Sport-, Park- und Erholungsanlagen (lit. b), der Erhaltung von Schutzgegenständen (lit. c) oder der Sicherung von Grundwasserschutzzonen (lit. d). Der Zweck der Grünzone ist im jeweiligen Zonenplan zu verzeichnen (Abs. 2). Oberirdische Bauten und Anlagen sind zulässig, soweit der Zweck der Zone sie erfordert (Abs. 3).
Gemäss Art. 18 Abs. 1 des Baureglements der Stadt Wil vom 25. November 1992 (BauR) in der Fassung gemäss Nachtrag II vom 22. September 2005 (in Kraft seit 1. März 2006) sind in der Grünzone, "soweit der Zweck der Grünzone im Zonenplan nicht besonders bezeichnet ist, Bauten, welche der Zweck der Zone erfordert, auf ein Vollgeschoss und eine maximale Gebäudefläche von 50 m2 beschränkt". Nach Art. 18 Abs. 2 BauR sind in der nach Art. 6 lit. g BauR als Bauzone geltenden "Grünzone Schrebergärten" bestimmte Kleinbauten gestattet.
2.4 Unbestritten ist, dass die an die Parzelle Nr. 1582 grenzende Grünzone nach geltendem Zonenplan keine besondere Zweckbestimmung im Sinn von Art. 18 Abs. 1 BauR hat, sondern allgemein dazu dient, die Umgebung des Stadtweihers vor einer Überbauung freizuhalten. Die Folgerung des Verwaltungsgerichts, dass jedenfalls die Nutzung von Grünzonenflächen ohne spezifische Zweckbindung zu privaten Wohnzwecken zonenwidrig ist, entspricht offensichtlich der dargestellten kantonalen Regelung, und es ist auch nicht ansatzweise ersichtlich, inwiefern sie dem Raumplanungsrecht des Bundes widersprechen sollte, sind doch die Begrenzung der Siedlungsräume (Art. 3 Abs. 3 RPG) sowie die Erhaltung von Erholungsräumen und die Freihaltung von Seeufern für die Bevölkerung (Art. 3 Abs. 2 lit. c und d RPG) wichtige raumplanerische Anliegen.
2.4 Unbestritten ist, dass die an die Parzelle Nr. 1582 grenzende Grünzone nach geltendem Zonenplan keine besondere Zweckbestimmung im Sinn von Art. 18 Abs. 1 BauR hat, sondern allgemein dazu dient, die Umgebung des Stadtweihers vor einer Überbauung freizuhalten. Die Folgerung des Verwaltungsgerichts, dass jedenfalls die Nutzung von Grünzonenflächen ohne spezifische Zweckbindung zu privaten Wohnzwecken zonenwidrig ist, entspricht offensichtlich der dargestellten kantonalen Regelung, und es ist auch nicht ansatzweise ersichtlich, inwiefern sie dem Raumplanungsrecht des Bundes widersprechen sollte, sind doch die Begrenzung der Siedlungsräume (Art. 3 Abs. 3 RPG) sowie die Erhaltung von Erholungsräumen und die Freihaltung von Seeufern für die Bevölkerung (Art. 3 Abs. 2 lit. c und d RPG) wichtige raumplanerische Anliegen.
2.5 2.5.1 Das Verwaltungsgericht hat bei der Beurteilung der Frage, ob der dienstbarkeitsbelastete Teil der Grünzone Wohnzwecken diene, zu Recht nicht auf die (veränderlichen) subjektiven Absichten der Beschwerdeführer bzw. deren Absichtserklärungen allein abgestellt, sondern geprüft, ob die mit dem Bauvorhaben verbundenen Nutzungsmöglichkeiten des in der Grünzone gelegenen Umschwungs objektiv als Wohnnutzung zu qualifizieren sind.
2.5.2 Die von der Stadt Wil bewilligten Baupläne zeigen deutlich, dass die Raumverhältnisse auf der Parzelle Nr. 1582 für die Erstellung eines zweiten Einfamilienhauses sehr knapp sind: Nach der vorgesehenen Abparzellierung soll die Neubauparzelle 400 m2 umfassen, wobei diese Fläche auch die Privatstrasse umfasst. Bei diesen beengten Verhältnissen, die kaum Spielraum für die Einrichtung eines Hausgartens bieten, ist es naheliegend, diesen in die angrenzende Grünzone auszulagern, und es ist offensichtlich, dass mit dem Bauvorhaben genau dies realisiert werden soll:
Das ergibt sich einerseits daraus, dass Türen von der Küche und dem Wohn-/Esszimmer direkt in die Grünzone führen. Auch wenn (Fenster-)türen möglicherweise auch aus ästhetischen Gründen eingebaut werden können oder um mehr Licht in die Wohnräume einzulassen, wie das Departement in der Vernehmlassung ausführt, so besteht jedenfalls ihr Hauptzweck darin, den Hausbewohnern einen Durchgang ins Freie zu ermöglichen. Die Beschwerdeführer bestreiten denn auch gar nicht, dass sie jedenfalls auch als Durchgang benutzt werden können und sollen. Das Bauprojekt ist objektiv auf eine Benützung der Grünzone durch die Hausbewohner ausgerichtet, wie das Verwaltungsgericht zu Recht folgerte.
Anderseits haben sich die Beschwerdeführer im Dienstbarkeitsvertrag ein ausschliessliches Nutzungsrecht an einem Teil der angrenzenden Grünzone ausbedungen. Zwar wird die Vertragsklausel, wonach die besagte Fläche der Erhaltung und Schaffung von Sport-, Park- und Erholungsanlagen gemäss Art. 17 Abs. 1 lit. b BauG diene, nach den schlüssigen Ausführungen des Verwaltungsgerichts, die vom Departement geteilt werden (Vernehmlassung S. 2), keine Wirkung entfalten können, weil die Errichtung einer privaten Gartenanlage in einer Grünzone ohne besondere Zweckbindung zonenwidrig ist. Immerhin zeigt die Klausel, dass sich die Beschwerdeführer die Möglichkeit zur baulichen Umgestaltung der dienstbarkeitsbelasteten Fläche sichern wollten und die Stadt Wil bereit war, ihnen dies zu ermöglichen. Ob die Beschwerdeführer nunmehr ihre Pläne für bauliche Massnahmen in der Grünzone wirklich aufgegeben haben, liegt zwar nicht unbedingt nahe, kann indessen dahingestellt bleiben. Die Ausübung des ausschliesslichen Nutzungsrechts beinhaltet jedenfalls das Recht, diesen Teil der Grünzone in irgendeiner Weise einzufrieden und so die Öffentlichkeit auszuschliessen. Mit der Möglichkeit, direkt vom Haus auf die dienstbarkeitsbelastete Fläche zu gelangen und diese exklusiv zu nutzen, hat diese die Funktion eines Hausgartens, auch wenn weitere bauliche Veränderungen unterbleiben. Das Verwaltungsgericht hat unter diesen Umständen zu Recht angenommen, der grunddienstbarkeitsbelastete Teil der Parzelle Nr. 1374 diene der Wohnnutzung im weiteren Sinn, was in dieser Grünzone nicht zulässig sei.
2.6 Das Verwaltungsgericht geht im angefochtenen Entscheid nach dem Gesagten davon aus, dass die Erstellung einer Gartenanlage in der Grünzone durch die Beschwerdeführer zonenwidrig wäre und deshalb die Klausel im Dienstbarkeitsvertrag, mit der die Schaffung einer solchen Anlage ermöglicht werden sollte, keine Wirkung entfalten könnte (oben E. 2.5.2 letzter Absatz). Der Vorwurf, das Verwaltungsgericht habe sich in einen unauflösbaren Widerspruch verstrickt, weil es einerseits davon ausgegangen sei, die Beschwerdeführer seien aufgrund der Vertragsklausel befugt, eine Gartenanlage in der Grünzone zu erstellen, und im Widerspruch dazu an anderer Stelle ausgeführt habe, dies sei zonenwidrig und damit unzulässig, trifft nicht zu. Die Willkürrüge ist unbegründet.
2.7 Die Beschwerdeführer werfen dem Verwaltungsgericht eine Verletzung seiner verfassungsmässigen Begründungspflicht vor. Sie hätten am verwaltungsgerichtlichen Augenschein geltend gemacht, im Kanton St. Gallen lägen Gebiete mit sogenannten Schrebergärten/Familiengärten regelmässig in Grünzonen, teils in speziellen Grünzonen für Gartenanlagen wie in Steinach oder in Grünzonen ohne spezielle Zweckbindung wie in St. Gallen. Es sei somit im Kanton St. Gallen gängige Praxis und damit unbedenklich, in der Grünzone liegende Flächen von einer Nutzung durch die Allgemeinheit auszunehmen. Dazu habe sich das Verwaltungsgericht nicht geäussert und dadurch <ref-law> verletzt.
Das Verwaltungsgericht hat entschieden, dass die umstrittene Nutzung der Grünfläche durch die Beschwerdeführer als Wohnnutzung zu qualifizieren und in der Grünzone ohne besondere Zweckbestimmung durch die Beschwerdeführer zonenwidrig sei. Es brauchte sich damit nicht mit der Frage auseinanderzusetzen, ob und unter welchen Umständen die Anlage von Schrebergärten in Grünzonen zulässig ist. Dies umso weniger, als der Einwand auch sachlich verfehlt ist. Die Stadt Wil kennt seit dem 1. März 2006 eine "Grünzone Schrebergärten", womit jedenfalls die Neuanlage von Schrebergärten und die damit verbundene private Nutzung von Grünzonenflächen in dieser speziellen Zone zu erfolgen hätte. Das Verwaltungsgericht hat seine verfassungsmässige Begründungspflicht nicht verletzt, indem es sich dazu nicht explizit äusserte, die Rüge ist unbegründet.
3. Die Beschwerde erweist sich somit als unbegründet und ist abzuweisen. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer kostenpflichtig (<ref-law>). Ausserdem haben sie den Beschwerdegegnern für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3. Die Beschwerdeführer haben den Beschwerdegegnern eine Parteientschädigung von insgesamt Fr. 2'500.-- zu bezahlen.
4. Dieses Urteil wird den Parteien, der Politischen Gemeinde Wil sowie dem Departement des Innern und dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 14. April 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Störi