Sachverhalt:
A. Der Gemeinderat Menzingen erteilte Z._ am 6. Mai 2008 die Baubewilligung für die Erstellung eines Einfamilienhauses und dreier Reiheneinfamilienhäuser auf der Parzelle Nr. 316, Edlibach. Hierbei eröffnete der Gemeinderat auch die Ausnahmebewilligung der Direktion des Innern des Kantons Zug vom 24. April 2008 zur Unterschreitung des Waldabstands für das Bauvorhaben. Parallel dazu wies der Gemeinderat die Einsprachen der Nachbarn X._ und Y._ ab. Letztere fochten die Bewilligung des Bauprojekts beim Regierungsrat des Kantons Zug an. Ihre Eingaben wurden zuständigkeitshalber an das Verwaltungsgericht des Kantons Zug überwiesen. Das Verwaltungsgericht erklärte sich für die Behandlung der Beschwerden zuständig und wies sie mit Urteil vom 18. Dezember 2008 ab.
B. Gegen das Urteil des Verwaltungsgerichts erheben X._ und Y._ beim Bundesgericht mit gemeinsamer Eingabe vom 13. Februar 2009 Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragen im Wesentlichen die Verweigerung der Baubewilligung unter Aufhebung der ergangenen Entscheide. Z._, der Gemeinderat Menzingen und das Verwaltungsgericht ersuchen um Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Direktion des Innern spricht sich für eine Abweisung der Beschwerde aus.
Das Bundesamt für Umwelt (BAFU) kommt in seiner Stellungnahme vom 24. April 2009 zum Schluss, aus seiner Sicht liege keine Verletzung der bundesrechtlichen Vorschriften über den Waldabstand vor. Die Beteiligten haben Gelegenheit erhalten, sich zur Eingabe des BAFU zu äussern. Sie haben sinngemäss an ihren Standpunkten festgehalten.

Erwägungen:
1. Gegen den kantonal letztinstanzlichen Entscheid des Zuger Verwaltungsgerichts, der eine Baubewilligung bestätigt, steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (<ref-law>). Die Beschwerdeführer sind als unmittelbare Nachbarn vom fraglichen Bauvorhaben besonders berührt und zur Beschwerde legitimiert (<ref-law>). Da auch die übrigen Sachurteilsvoraussetzungen an sich erfüllt sind, kann auf die Beschwerde grundsätzlich eingetreten werden.
2. Vorbehalten bleibt die Zulässigkeit der Vorbringen der Beschwerdeführer.
2.1 Nicht einzutreten ist auf die Rechtsbegehren der Beschwerdeführer, wonach auch die unterinstanzlichen Entscheide der Gemeinde Menzingen und der kantonalen Direktion des Innern aufzuheben seien. Diese Entscheide sind durch das Urteil des Verwaltungsgerichts vom 18. Dezember 2008 ersetzt worden (sog. Devolutiveffekt) und gelten als inhaltlich mitangefochten (<ref-ruling> E. 1.4 S. 144 mit Hinweisen).
2.2 In der Beschwerdeschrift wird gerügt, der angefochtene Entscheid verstosse gegen die bundesrechtliche Waldgesetzgebung und gegen kantonale bzw. kommunale Vorschriften. Die von den Beschwerdeführern sinngemäss erhobene Rüge, es sei Art. 17 des Bundesgesetzes vom 4. Oktober 1991 über den Wald (WaG; SR 921.0) verletzt worden, ist ein zulässiger Beschwerdegrund (<ref-law>). Die Missachtung kantonalen Rechts kann hingegen, soweit es selbstständige Bedeutung aufweist, in Fällen wie dem vorliegenden nur mit Verfassungsrügen - namentlich mit Willkürrügen - geltend gemacht werden (<ref-ruling> E. 1.2.1 S. 251 f.; Urteil des Bundesgerichts 1C_119/2008 vom 21. November 2008 E. 2.4, in: URP 2009 S. 138). Das Bundesgericht prüft die Verletzung von Verfassungsrecht und namentlich des Willkürverbots (<ref-law>) nicht von Amtes wegen, sondern nur insofern, als ein solcher Vorwurf in der Beschwerde vorgebracht und genügend begründet wird (Art. 106 Abs. 2 i.V.m. <ref-law>). Die Beschwerdeführer haben hierbei anhand der angefochtenen Subsumtion im Einzelnen darzulegen, inwiefern der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (vgl. <ref-ruling> E. 2.2 S. 246 mit Hinweisen). Diesen Anforderungen genügt die Beschwerdeschrift über weite Strecken nicht. Darauf wird im jeweiligen Sachzusammenhang näher einzugehen sein.
2.3 Die Beschwerdeführer reichen vor Bundesgericht neue Fotografien ein, auf denen die Bauparzelle mit den Baugespannen und der nahe gelegene Wald zu sehen sind. Gemäss <ref-law> dürfen neue Tatsachen und Beweismittel vor Bundesgericht nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt. Es mag dahingestellt bleiben, ob die neu eingereichten Fotografien zulässige Beweismittel im Sinne dieser Bestimmung bilden, denn sie vermögen ohnehin nichts am Ausgang des Verfahren zu ändern.
2.4 Der rechtserhebliche Sachverhalt ergibt sich mit hinreichender Klarheit aus den Akten. Auf den von den Beschwerdeführern gewünschten Augenschein im bundesgerichtlichen Verfahren kann verzichtet werden.
3. 3.1 Nach <ref-law> haben die Kantone einen angemessenen Mindestabstand der Bauten und Anlagen zum Wald vorzuschreiben und dabei die Lage und die zu erwartende Höhe des Bestandes zu berücksichtigen. Damit soll dem Gebot gemäss <ref-law> Rechnung getragen werden, dass Bauten und Anlagen in Waldesnähe nur zulässig sind, wenn sie die Erhaltung, Pflege und Nutzung des Waldes nicht beeinträchtigen, also keine negativen Auswirkungen auf die Erfüllung der Funktionen des jeweiligen Waldes im Sinne von <ref-law> zeitigen. <ref-law> soll sicherstellen, dass die Erhaltung, Pflege und Nutzung des Waldes durch Bauten und Anlagen in Waldesnähe gemäss Abs. 1 dieser Bestimmung nicht beeinträchtigt werden. Die Zielsetzung liegt darin, den Wald vor natürlicher oder menschlicher Zerstörung zu bewahren. Zudem soll der Waldabstand eine zweckmässige Bewirtschaftung und Erschliessung des Waldes ermöglichen, den Wald vor Feuer schützen sowie dem hohen ökologischen Wert des Waldrands Rechnung tragen. Angemessen ist der Mindestabstand der Bauten und Anlagen vom Waldrand, wenn er den Schutz dieser im öffentlichen Interesse liegenden Zwecke gewährleistet (vgl. Urteile des Bundesgerichts 1C_119/2008 E. 2.4 in: URP 2009 S. 138; 1A.93/2005 vom 23. August 2005 E. 2.2/2.3 in: ZBl 107/2006 S. 601; je mit Hinweisen).
3.2 Der Kanton Zug hat in Ausübung seiner Vollzugskompetenz (<ref-law>) den Mindestabstand von Bauten und Anlagen zum Wald auf 12 Meter festgesetzt (§ 12 Abs. 1 des kantonalen Planungs- und Baugesetzes vom 26. November 1998 [PBG/ZG; BGS 721.11]). Wenn sich im Einzelfall eine offensichtlich unzweckmässige Lösung oder eine unbillige Härte ergibt, so kann die zuständige Behörde Ausnahmen von dieser Vorschrift gewähren (vgl. § 14 PBG/ZG). Zuständige Behörde für die Erteilung von Ausnahmebewilligungen zur Unterschreitung des Waldabstands ist die kantonale Direktion des Innern (§ 6 Abs. 2 lit. b PBG/ZG). Diese kantonalen Ausführungsbestimmungen zum eidgenössischen Waldgesetz hat der Bund - wie in der Vernehmlassung des BAFU bestätigt wird - genehmigt.
3.3 Gemäss dem Verwaltungsgericht kommt dem betroffenen Wald hauptsächlich eine Schutzfunktion zu; er bestockt einen nach Norden abfallenden Abhang, der von der Höhe der Bauparzelle bis zu einem tiefer gelegenen, vorbeiführenden Bach hinabreicht. Die Direktion des Innern bewilligte für das Bauprojekt eine Herabsetzung des gesetzlich vorgeschriebenen Waldabstands von 12 Metern auf 7,5 Meter. Diese Ausnahmebewilligung erteilte die Direktion unter zahlreichen Bedingungen und Auflagen. So verlangte sie die Erstellung eines mit Schotterrasen begrünten, drei Meter breiten Bewirtschaftungswegs auf dem Landstreifen zwischen den geplanten Häusern und dem Wald; der genaue Verlauf dieses Wegs sei in Absprache mit dem zuständigen Revierförster so festzulegen, dass keine Schäden an waldrandnahen Bäumen entständen. Im Übrigen müsse der Landstreifen zwischen den geplanten Häusern und dem Wald gänzlich frei bleiben von Bauten und Anlagen. Im Hinblick auf die künftige Wohnnutzung hielt die Direktion des Innern fest, dass die Hauseigentümer bzw. -benutzer die Nachteile und Risiken, die durch die Nähe zum Wald entstehen könnten, in Kauf zu nehmen hätten. Es bestehe kein Anspruch auf Zurücksetzung oder Niederhaltung des Walds. Darüber hinaus ordnete die Direktion Schutzmassnahmen zugunsten des Walds während der Bauphase an. Angesichts dieser Nebenbestimmungen ist das Verwaltungsgericht der Auffassung, die Ausnahmebewilligung beeinträchtige die Erhaltung, Pflege und Nutzung des betroffenen Walds nicht. Dabei hat sich das Verwaltungsgericht hauptsächlich auf die protokollierten Ausführungen des Kantonsförsters am verwaltungsgerichtlichen Augenschein abgestützt. Das BAFU pflichtet in seiner Vernehmlassung der Beurteilung des Verwaltungsgerichts bei. Wichtig ist nach Ansicht des BAFU für den Erhalt des Walds in seinem jetzigen Zustand, dass er alle zehn bis zwölf Jahre durchforstet wird. Unter diesen Umständen geht es davon aus, dass namentlich die Schutzfunktion des Walds gewährleistet bleibe.
3.4 Die Beschwerdeführer wenden ein, die forstamtlich festgelegte Waldgrenze liege heute nahe an der Böschungskante des laufend erodierenden Bachtobels. Es sei absehbar, dass aufgrund der anhaltenden Erodierung in Zukunft eine Vorverlegung der Waldgrenze notwendig wäre. So sei die Böschungskante stellenweise bereits heute nicht mehr 7,5 Meter, sondern nur noch 6,5 bis 7 Meter von den geplanten Bauten entfernt. Der Umstand, dass die Waldgrenze rechtlich gesehen statisch sei, ändere an dieser naturgegebenen Entwicklung nichts. Wenn sich die Waldgrenze zukünftig nicht mehr an der Böschungskante, sondern unterhalb im Abhang befinde, sei dies der Stabilität des Bachtobels nicht zuträglich. Die Ausnahmebewilligung verhindere eine in absehbarer Weise später gebotene Vorverlegung der Waldgrenze. In dieser Hinsicht sei die Schutzfunktion des Walds nicht mehr gewährleistet. Zudem kämen einzelne Baumkronen von Stämmen am Waldrand bis fast an die Gebäude heran. Bei Wind bestehe nicht nur die Gefahr des Umstürzens von Bäumen, sondern auch der Berührung der Häuser durch die Baumkronen. Es sei absehbar, dass dies zur Forderung nach einem Zurückschneiden der Waldbäume führen werde.
3.5 Im vorliegenden Verfahren geht es um eine Baubewilligung und nicht um eine Waldfeststellung. Wie den Beschwerdeführern von den kantonalen Behörden bereits anlässlich des verwaltungsgerichtlichen Augenscheins erläutert wurde, ist das Waldfeststellungsverfahren rechtskräftig abgeschlossen. Folglich ist es unbehelflich, wenn die Beschwerdeführer indirekt die Richtigkeit der damals gezogenen Waldgrenze in Zweifel ziehen. Die Rechtmässigkeit des hier angefochtenen Entscheids lässt sich in diesem Punkt auch nicht erfolgreich mit dem Argument in Frage stellen, dass die Einhaltung der Nebenbestimmungen der Ausnahmebewilligung anspruchsvoll sein wird. Die für Waldbelange zuständigen Fachstellen von Bund und Kanton haben bestätigt, der fragliche Wald werde vorliegend hinreichend geschützt. Der fachtechnische Sachverstand dieser Fachstellen ist zu respektieren. Das Verwaltungsgericht hat die besonderen Aspekte des Einzelfalls materiell umfassend gewürdigt. Es verfügt über die erforderlichen Kenntnisse der örtlichen Verhältnisse. Daher ist ihm ein gewisser Beurteilungsspielraum zuzugestehen. Insgesamt kann seiner Schlussfolgerung, dass der streitige Waldabstand des Bauprojekts die Erhaltung, Pflege und Nutzung des fraglichen Walds nicht beeinträchtigt, zugestimmt werden. Eine Verletzung von <ref-law> liegt nicht vor.
3.6 Die Vorschriften der Kantone über den Waldabstand und die ausnahmsweise Bewilligung seiner Unterschreitung haben im Verhältnis zu <ref-law> selbstständige Bedeutung; deren Verletzung kann nur mittels Verfassungsrügen beanstandet werden (vgl. Urteile 1C_119/2008 E. 2.4 in: URP 2009 S. 138; 1A.261/2005 vom 7. Dezember 2005 E. 1.2; je mit Hinweisen). Vorliegend sind die diesbezüglichen Vorbringen in der Beschwerde nicht geeignet, eine Verfassungsverletzung darzutun, soweit diese überhaupt als rechtsgenügliche Rügen (vgl. dazu E. 2.2 hiervor) formuliert sind.
Das Verwaltungsgericht hat ausführlich dargelegt, weshalb es eine besondere Situation im Sinne von § 14 PBG/ZG annimmt. Diese Beurteilung hält vor dem Willkürverbot stand. Insbesondere hat das Verwaltungsgericht festgestellt, dass die überbaubare Grundstücksfläche rund 1'600 m2 ausmache. Die Masse von rund 20 x 80 Metern hätten jedoch, unter Abzug der gesetzlichen Wald- und Strassenabstände, im Ergebnis zur Folge, dass die Fläche zu schmal für eine Überbauung sei. Diesen Angaben widersprechen die Beschwerdeführer nicht konkret. Es ist somit nicht stichhaltig, wenn sie das Grundstück pauschal als zu klein für die geplante Überbauung bezeichnen.
Zusätzlich hat sich das Verwaltungsgericht mit Fragen der Gleichbehandlung befasst. Es hat ausgeführt, bei zwei Baubewilligungen in der Umgebung seien in den letzten Jahren vergleichbare Unterschreitungen des Waldabstands genehmigt worden. Dass in den vom Verwaltungsgericht genannten Fällen der gesetzliche Waldabstand unterschritten wurde, bestreiten die Beschwerdeführer nicht. Sie weisen zwar auf Unterschiede zwischen den einzelnen Bauprojekten hin. Damit gelingt es ihnen aber nicht, die vom Verwaltungsgericht bejahte Vergleichbarkeit zu entkräften. So ist die Vergleichbarkeit nicht ausgeschlossen, wenn die Unterschreitung des Waldabstands im vorliegenden Verfahren auf einer grösseren Länge bewilligt wird als in jenen früheren Fällen.
4. Eine weitere Rüge betrifft die Höhenlage des Erdgeschossfussbodens.
4.1 Nach dem angefochtenen Urteil ist der Boden des Erdgeschosses der geplanten Reihenhäuser um 55 cm höher, als gemäss § 14 der kantonalen Verordnung zum Planungs- und Baugesetz (V-PBG/ZG; BGS 721.111) erlaubt ist. Das Verwaltungsgericht ist freilich der Auffassung, es sei hier ein besonderer Geländeverlauf im Sinne von § 13 Abs. 3 V-PBG/ZG gegeben. Nach dieser Bestimmung können die Baubewilligungsbehörden in einem solchen Fall die Höhenlage von angrenzenden Strassen und Wegen berücksichtigen. Mit Blick darauf erachtet das Verwaltungsgericht die geplante Anpassung des Erdgeschossbodens an das Niveau der bestehenden Erschliessungsstrasse als gerechtfertigt. Hinzu kommt gemäss dem Verwaltungsgericht, dass die gesetzlich maximal zulässigen Fassaden- und Firsthöhen, gemessen ab dem an sich höchsten erlaubten Bodenpunkt gemäss § 14 V-PBG/ZG, eingehalten seien.
4.2 Beruht der angefochtene Entscheid in einem Punkt auf einer Doppelbegründung, so haben die Beschwerdeführer darzulegen, dass jeder Begründungsstrang Recht verletzt; andernfalls kann insoweit auf die Beschwerde nicht eingetreten werden (vgl. <ref-law>; <ref-ruling> E. 6.3 S. 120 f.). Im vorliegenden Fall hat das Verwaltungsgericht die Überschreitung der gemäss § 14 V-PBG/ZG zulässigen Erdgeschosskote mit zwei voneinander unabhängigen Begründungen geschützt. Diese drehen sich, wie soeben gezeigt, zum einen um die bauliche Rücksichtnahme auf das Strassenniveau und zum andern um die Gesamthöhe des Bauprojekts einschliesslich des angehobenen Erdgeschossbodens. Die Beschwerdeführer kritisieren nur die erstgenannte Argumentationslinie des Verwaltungsgerichts; zum anderen Begründungsstrang äussern sie sich nicht. Aus diesem Grund kann auf die Beschwerde, was die Anwendung von § 14 V-PBG/ZG angeht, nicht eingetreten werden.
5. Nach den Feststellungen des Verwaltungsgerichts befinden sich in der Nähe der geplanten Bauten zwei unter Denkmalschutz stehende Gebäude. Die kantonale Denkmalpflege hatte eine angemessene Erhöhung des Abstands zwischen den geplanten Bauten und den fraglichen Gebäuden empfohlen. Der angefochtene Entscheid bestätigt die Baubewilligung auch insoweit, als diese auf einen solchen zusätzlichen Abstand verzichtet hat. Die Beschwerdeführer beharren hingegen darauf, dass diesem Anliegen der Denkmalpflege stattgegeben werde. Dabei erheben sie allerdings weder ausdrücklich noch sinngemäss Rechts- bzw. Verfassungsrügen. Sie gehen auch nicht auf die differenzierte Begründung des Verwaltungsgerichts zu diesem Punkt ein. Diesbezüglich fehlt es an rechtsgenüglichen Rügen (vgl. E. 2.2 hiervor). Darauf ist nicht weiter einzugehen.
6. Ausserdem kritisieren die Beschwerdeführer die Strassenabstände bzw. die Parkierungsverhältnisse bei den geplanten Bauten.
6.1 Wie das Verwaltungsgericht festgehalten hat, wird beim Bauprojekt die kommunal vorgeschriebene Parkplatzzahl erfüllt; dies stellen die Beschwerdeführer nicht in Abrede. Unabhängig davon wird aber in der Beschwerde an das Bundesgericht geltend gemacht, der Strassenabstand von 4 Metern beim Bauprojekt sei nicht vorschriftsgemäss. Gemäss § 18 Abs. 1 des kommunalen Strassenreglements von 1994 müssten Bauten einen Mindestabstand von 5 Metern von der Strasse aufweisen. Zu kurz bemessen sei auch der Vorplatz vor den geplanten Autounterständen (sog. Carports) zwischen den Reihenhäusern. Nach derselben Bestimmung hätten Garagenvorplätze 6 Meter tief zu sein; hier seien es nur 4 Meter. Überdies werde damit gegen § 6 der kommunalen Bauordnung von 2006 verstossen; danach sind Ein- und Ausfahrten so anzulegen, dass sie im Gebrauch niemanden gefährden oder behindern.
6.2 In diesem Punkt tun die Beschwerdeführer ebenfalls keine verfassungswidrige, namentlich keine willkürliche Rechtsanwendung dar, soweit ausreichende Rügen vorliegen. Die Beschwerdeführer berufen sich auf das kommunale Strassenreglement, ohne sich hinlänglich mit dem übergeordneten kantonalen Recht auseinanderzusetzen. Dazu wären sie verpflichtet gewesen, weil der Strassenabstand des Bauvorhabens sich - gemäss Einschätzung des Verwaltungsgerichts - nach dem kantonalen Gesetz vom 30. Mai 1996 über Strassen und Wege (GSW/ZG; BGS 751.14) richtet. § 17 Abs. 1 lit. b GSW/ZG schreibt für Gebäude einen Mindestabstand von 4 Metern zu Gemeindestrassen vor. Ein solcher Abstand ist vorliegend unbestrittenermassen eingehalten. Die Beschwerdeführer behaupten, diese kantonale Norm gelte nur für Häuser und nicht für Garagen bzw. Carports. Woraus sie diese Unterscheidung herleiten, zeigen sie indessen nicht auf. Es kann ihnen auch nicht gefolgt werden, wenn sie die Bewilligung von 4 Meter tiefen Vorplätzen vor den Carports bei den gegebenen Umständen als unhaltbare bzw. willkürliche Verletzung von § 6 der kommunalen Bauordnung hinstellen.
7. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten (<ref-law>). Der obsiegende Beschwerdegegner ist nicht anwaltlich vertreten. Praxisgemäss ist ihm keine Entschädigung zuzusprechen (vgl. Art. 68 Abs. 1 und 2 BGG; <ref-ruling> E. 4 S. 446). Dem Gemeinderat Menzingen steht ebenfalls keine Parteientschädigung zu; er tut keine ausserordentlichen Umstände dar, die eine Ausnahme von der Praxis zu <ref-law> (vgl. dazu <ref-ruling> E. 7 S. 119) rechtfertigen würden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird den Parteien, dem Gemeinderat Menzingen, der Direktion des Innern des Kantons Zug, dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, und dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 3. Juli 2009
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Kessler Coendet