Sachverhalt:
A. Mit Beschluss vom 24. April 2007 verweigerte die Baubehörde Meilen Y._ die nachträgliche baurechtliche Bewilligung für die Verglasung des überdeckten Sitzplatzes beim Gebäude Assek.-Nr. 2469 auf dem Grundstück Kat.-Nr. 9069 an der Rainstrasse 67 in Meilen (Dispositiv-Ziff. I). Gleichzeitig setzte sie dem Gesuchsteller eine Frist von 60 Tagen ab Rechtskraft des Entscheids zur Wiederherstellung des rechtmässigen Zustandes (Rückbau Verglasung) oder zur Einreichung einer Näherbaurechtsvereinbarung als Projektpräzisierung (Dispositiv-Ziff. II) unter Androhung der Ersatzvornahme zulasten des Pflichtigen sowie Bestrafung nach § 340 des Planungs- und Baugesetzes vom 7. September 1975 (PBG) und/oder <ref-law> (Dispositiv-Ziff. III).
B. Y._ focht diesen Beschluss bei der kantonalen Baurekurskommission II an, welche den Rekurs mit Entscheid vom 6. Mai 2008 guthiess, soweit die Wiederherstellung des ursprünglichen Zustandes statuiert wurde. Sie hob Dispositiv-Ziff. II und III des Beschlusses der Baubehörde Meilen vom 24. April 2007 auf (Rekursentscheid Dispositiv-Ziff. I Abs. 1 und 2). Im Übrigen wies die Baurekurskommission den Rekurs ab (Rekursentscheid Dispositiv-Ziff. I Abs. 3). X._, Eigentümer der westlich an das Baugrundstück angrenzenden Liegenschaft Kat.-Nr. 9068, zog diesen Rekursentscheid an das Verwaltungsgericht des Kantons Zürich weiter und beantragte, es seien Dispositiv-Ziff. I Abs. 1 und 2 des Rekursentscheides aufzuheben und Dispositiv-Ziff. II und III des Beschlusses der Baubehörde Meilen vom 24. April 2007 zu bestätigen. Das Verwaltungsgericht wies die Beschwerde mit Entscheid vom 1. Oktober 2008 ab (Ziff. 1 des Verwaltungsgerichtsentscheides), auferlegte die Gerichtskosten dem Beschwerdeführer und verpflichtete diesen, dem Beschwerdegegner eine Parteientschädigung zu bezahlen (Ziff. 3 und 4 des Verwaltungsgerichtsentscheides).
C. Gegen diesen Entscheid des Verwaltungsgerichts führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er stellt den Antrag, es sei Ziff. 1 des Dispositivs dieses Entscheids aufzuheben. Ebenfalls aufzuheben sei Ziff. I Abs. 1 und 2 des Entscheids der Baurekurskommission vom 6. Mai 2008. Dementsprechend sei der Beschluss der Baubehörde Meilen vom 24. April 2007 mit Bezug auf die Ziff. II und III des Dispositivs zu bestätigen, d.h. es sei anzuordnen, dass der Beschwerdegegner seinen überdeckten Sitzplatz durch Abbruch der unrechtmässig erstellten Einwandung/Verglasung in den rechtmässigen Zustand zu überführen habe. Diese Anordnung sei gegebenenfalls mittels Ersatzvornahme auf Kosten des Beschwerdegegners sowie unter Strafandrohung durchzusetzen. Schliesslich verlangt der Beschwerdeführer die Aufhebung der Ziff. 3 und 4 des Verwaltungsgerichtsentscheides. Die Kosten des verwaltungsgerichtlichen Verfahrens seien dem Beschwerdegegner aufzuerlegen und dieser sei zu verpflichten, dem Beschwerdeführer für das Verfahren vor Verwaltungsgericht eine angemessene Parteientschädigung zu bezahlen. Die Kosten des bundesgerichtlichen Verfahrens seien ebenfalls dem Beschwerdegegner aufzuerlegen und dieser sei zu verpflichten, ihn auch für dieses Verfahren angemessen zu entschädigen.
D. Das Verwaltungsgericht beantragt, die Beschwerde abzuweisen. Die Gemeinde Meilen verzichtet auf eine Vernehmlassung. Y._ stellt den Antrag, die Beschwerde sei abzuweisen, soweit darauf eingetreten werde. Zudem verlangt er die Durchführung eines Augenscheins.

Erwägungen:
1. 1.1 Gestützt auf <ref-law> beurteilt das Bundesgericht Beschwerden gegen Entscheide in Angelegenheiten des öffentlichen Rechts. Dieses Rechtsmittel steht auch auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Das Bundesgerichtsgesetz enthält dazu keinen Ausschlussgrund (<ref-ruling> E. 1.2 S. 251). Der angefochtene Entscheid des Verwaltungsgerichts unterliegt somit der Beschwerde in öffentlich-rechtlichen Angelegenheiten gemäss <ref-law>.
1.2 Zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ist berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat, durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung besitzt (<ref-law>). Verlangt ist somit neben der formellen Beschwer (<ref-law>), dass der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt (<ref-law>) und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht (<ref-law>; <ref-ruling> E. 3 S. 356 f., 400 E. 2.2 S. 404 f.). Diese Voraussetzungen sind beim Beschwerdeführer gegeben. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist unter Vorbehalt der Ausführungen in E. 1.3 hiernach grundsätzlich auf die Beschwerde einzutreten.
1.3 Unzulässig ist der Antrag des Beschwerdeführers, auch Teile des Entscheids der Baurekurskommission vom 6. Mai 2008 aufzuheben. Dieser ist durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt) und gilt als inhaltlich mitangefochten (<ref-ruling> E. 1.4 S. 144; <ref-ruling> E. 1 S. 441 mit Hinweisen).
1.4 Der rechtserhebliche Sachverhalt geht aus den Akten hinreichend hervor. Auf die Durchführung eines Augenscheins kann daher verzichtet werden.
2. Die nachträgliche Baubewilligung für die bereits realisierte Verglasung des Gartensitzplatzes ist nach zutreffender Darstellung des Verwaltungsgerichts durch die zuständigen kantonalen Behörden rechtskräftig verweigert worden. Hauptgegenstand des vorliegenden Verfahrens ist daher einzig die Wiederherstellungsmassnahme. Gemäss § 341 des Planungs- und Baugesetzes des Kantons Zürich vom 7. September 1975 (PBG; LS 700.1) hat die zuständige Behörde ohne Rücksicht auf Strafverfahren und Bestrafung den rechtmässigen Zustand herbeizuführen. Nach Auffassung des Verwaltungsgerichts steht der zuständigen Behörde kein Ermessen zu, ob sie tätig werden will oder ob sie die Sache auf sich beruhen lassen soll. Allerdings habe die Behörde beim Vollzug den Grundsatz der Verhältnismässigkeit zu beachten. Ein Abbruchbefehl sei unverhältnismässig, wenn die Abweichung vom gesetzmässigen Zustand gering sei und die berührten allgemeinen Interessen den Schaden, der dem Eigentümer durch den Abbruch entstünde, nicht zu rechtfertigen vermöchten. Geringfügig sei eine Abweichung, wenn nur wenig von der materiellen Vorschrift abgewichen werde und die Abweichung dem Bauherrn keinen oder nur einen geringfügigen Nutzen bringe. Bei bedeutenderen Abweichungen könnten nur Gründe des Vertrauensschutzes zu einem Verzicht auf die Wiederherstellung führen. Im angefochtenen Entscheid hält das Verwaltungsgericht unter Hinweis auf die Art. 18 f. der Bau- und Zonenordnung der Gemeinde Meilen vom 25. März 1997 (BZO) fest, der Grenzabstand des verglasten Sitzplatzes zur westlichen Grundstücksgrenze betrage 4 m, weshalb der vorgeschriebene Grenzabstand von 6 m um 2 m "deutlich" unterschritten werde. Der Beschwerdeführer geht demgegenüber von einer Unterschreitung des Grenzabstandes von 2.5 m aus, hält dies jedoch insofern für belanglos, als auch das Verwaltungsgericht richtigerweise schreibe, der Grenzabstand werde "damit deutlich unterschritten".
3. 3.1 Gründe des Vertrauensschutzes sprechen nach Ansicht des Verwaltungsgerichts im vorliegenden Fall nicht gegen die Wiederherstellung des rechtmässigen Zustands. Indessen sei zu beachten, dass mit dem Inkrafttreten der Revision des PBG im Jahre 1991 und der damit geschaffenen Möglichkeit, formlose Näherbaurechte zu stipulieren (vgl. § 270 Abs. 3 PBG), die kantonalen und kommunalen Grenzabstände mit Ausnahme der wohnhygienischen und feuerpolizeilichen Belange weitgehend der Disposition der privaten Grundeigentümer überlassen worden seien. Dies habe zur Folge, dass die ordentlichen öffentlich-rechtlichen Grenzabstände von der Baubehörde nicht mehr durchgesetzt werden könnten. Das öffentliche Interesse an den fraglichen Abstandsvorschriften habe damit eine starke Relativierung erfahren, derweil die nachbarschützende Funktion der Grenz- und Gebäudeabstände in den Vordergrund gerückt sei.
Weiter führt das Verwaltungsgericht aus, die umstrittene Verglasung bestehe seit spätestens 1983. Gemäss der Baubewilligung vom 12. März 1974 sei für die Erstellung des Anbaus (Gartenhalle) die Zustimmung des damaligen Nachbarn und Eigentümer des Grundstücks Kat.-Nr. 9068 erforderlich gewesen. Der Beschwerdeführer habe das Grundstück Kat.-Nr. 9068 am 28. März 2003 erworben. Die Anzeige bezüglich des rechtswidrigen Anbaus auf der Parzelle Kat.-Nr. 9069 sei im Jahr 2007 erfolgt. Die spätestens im Januar 1983 erstellte Verglasung der Gartenhalle sei zunächst während 20 Jahren von den früheren Eigentümern der Parzelle Kat.-Nr. 9068 widerspruchslos geduldet und anschliessend vom Beschwerdeführer während weiteren vier Jahren akzeptiert worden. Diese jahrzehntelange Duldung des umstrittenen Anbaus sei bei der Beurteilung der Verhältnismässigkeit der Wiederherstellung zu berücksichtigen. Zudem habe der Beschwerdeführer seine Liegenschaft im Jahr 2003 in Kenntnis der Existenz der Gartenhalle erworben. Auch wenn die stillschweigende Duldung an sich noch kein Näherbaurecht begründe, erweise sich die Wiederherstellung des rechtmässigen Zustandes nach so langer Zeit als unverhältnismässig. Die Auffassung der Baurekurskommission, aufgrund der konkreten Umstände sei von einem Abbruch der Verglasung abzusehen, erscheine daher nicht rechtsverletzend.
3.2 Nach Auffassung des Beschwerdeführers widerspricht diese Argumentation des Verwaltungsgerichts der ständigen Rechtsprechung zum Grundsatz der Verhältnismässigkeit. Sie sei daher bundesrechtswidrig. Nach dieser Praxis sei ein Abbruchbefehl nur unter den kumulativen Voraussetzungen unverhältnismässig, dass erstens eine geringfügige Abweichung vom gesetzmässigen Zustand vorliege und zweitens die allgemeinen Interessen den Schaden, der dem Eigentümer durch den Abbruch entstehe, nicht aufzuwiegen vermöge. Das Verwaltungsgericht habe die erste Voraussetzung klar und zutreffend verneint, weil die Unterschreitung des Grenzabstands um 2 m bzw. 2.5 m offensichtlich nicht als geringfügig bezeichnet werden könne. Damit sei der Abbruchbefehl verhältnismässig und die zweite genannte Voraussetzung, nach welcher ein Abbruchbefehl unverhältnismässig sei, sei deshalb gar nicht mehr zu prüfen. Die Ausführungen des Verwaltungsgerichts zum fehlenden bzw. relativierten öffentlichen Interesse seien zwar möglicherweise zutreffend. Sie seien jedoch für die Verhältnismässigkeit des Abbruchbefehls irrelevant, weil die Abweichung vom gesetzmässigen Zustand anerkanntermassen nicht geringfügig sei. Dies habe die Vorinstanz übersehen, wenn sie ausschliesslich wegen des langjährigen widerspruchslosen Duldens der baurechtswidrigen Baute durch den Beschwerdeführer und dessen Rechtsvorgänger die Verhältnismässigkeit des Abbruchbefehls verneine.
3.3 Im Zusammenhang mit der Anordnung eines Wiederherstellungsbefehls sind die massgebenden allgemeinen verfassungs- und verwaltungsrechtlichen Prinzipien zu berücksichtigen. Zu ihnen gehören namentlich die in <ref-law> festgehaltenen Grundsätze der Verhältnismässigkeit und des Schutzes des guten Glaubens. So kann die Wiederherstellung des rechtmässigen Zustands unterbleiben, wenn die Abweichung vom Erlaubten nur unbedeutend ist oder die Wiederherstellung nicht im öffentlichen Interesse liegt, ebenso, wenn der Bauherr in gutem Glauben angenommen hat, die von ihm ausgeübte Nutzung stehe mit der Baubewilligung im Einklang, und ihre Fortsetzung nicht schwerwiegenden öffentlichen Interessen widerspricht (<ref-ruling> E. 6 S. 35; <ref-ruling> E. 6 S. 221 mit Hinweisen). Die Verhältnismässigkeit einer Wiederherstellungsmassnahme, die gestützt auf kantonales Recht getroffen wurde und nicht auf ihre Vereinbarkeit mit einem speziellen Grundrecht zu beurteilen ist, prüft das Bundesgericht auf Willkür hin (vgl. <ref-ruling> E. 4 S. 156 ff.).
Das Verwaltungsgericht führt zwar in E. 4.2 des angefochtenen Entscheids aus, der Grenzabstand des umstrittenen verglasten Anbaus unterschreite den Grenzabstand "deutlich". Entgegen den Vorbringen des Beschwerdeführers stuft es diese Baurechtswidrigkeit im Hinblick auf die im konkreten Fall gegebene Situation sinngemäss noch als "geringfügig" im Rechtssinn ein. Es verweist dabei nicht nur auf die lange klaglose Duldung des Anbaus durch den Beschwerdeführer und dessen Rechtsvorgänger. Vielmehr weist es auch auf die Relativierung des öffentlichen Interesses an der Wiederherstellung hin, welche durch die im Jahre 1991 erfolgte Änderung des PBG eingetreten sei, wonach in § 271 Abs. 3 PBG die Möglichkeit geschaffen worden sei, formlose Näherbaurechte zu stipulieren. Unter Beachtung dieser Gegebenheiten ist das Verwaltungsgericht schliesslich zum Schluss gelangt, die Auffassung der Baurekurskommission, aufgrund der konkreten Umstände sei von einem Abbruch der Verglasung abzusehen, sei nicht rechtsverletzend. Mit Blick auf die vorn wiedergegebene Rechtsprechung des Bundesgerichts zum Verhältnismässigkeitsprinzip bei Wiederherstellungsverfügungen ist dieser Schluss der Vorinstanz nicht zu beanstanden. Die Beschwerde erweist sich daher in diesem Punkt als unbegründet.
4. Ist die Beschwerde in Bezug auf den Hauptpunkt, d.h. hinsichtlich Ziff. 1 des angefochtenen Entscheids unbegründet, so trifft dies auch auf die ebenfalls angefochtenen Ziff. 3 und 4 des Dispositivs des Verwaltungsgerichtsentscheids vom 1. Oktober 2008 zu. Das führt zum Ergebnis, dass die Beschwerde abzuweisen ist, soweit darauf eingetreten werden kann.
Bei diesem Ausgang des bundesgerichtlichen Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Dieser hat dem privaten Beschwerdegegner für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat dem Beschwerdegegner für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 2'500.-- zu bezahlen.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 13. Mai 2009
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Haag