Das Bundesgericht zieht in Erwägung:
1. Im Oktober 1980 brannte die Sägerei des Vaters von X._ ab. X._ erhielt gestützt auf eine Ausnahmebewilligung der damaligen Baudirektion des Kantons Bern vom 13. Januar 1983 vom Regierungsstatthalter von Interlaken am 16. Februar 1983 eine Baubewilligung für den Bau einer neuen Sägerei. Deren Standort befindet sich auf einer in der Landwirtschaftszone gelegenen Parzelle "Aennet dem Lombach/Birmse" rund 750 Meter entfernt vom ebenfalls in der Landwirtschaftszone gelegenen Standort der abgebrannten Sägerei.
Am 9. Dezember 2003 reichte X._ ein Baugesuch zur Umnutzung des bestehenden Sägereigebäudes am Standort "Birmse" ein. Er umschrieb das Bauvorhaben und die geplante Nutzung wie folgt:
- Bestehendes Sägereigebäude umnutzen in Zimmerei, Lagerhalle, Werkhof. Rund- und Schnittwarenlagerflächen umnutzen in Lagerflächen für Bauunternehmung und Zimmerei."
Gegen das Bauvorhaben gingen sechs Einsprachen ein, darunter jene von A._, B._, C._ und D._. Aufgrund eines Einwands des Amts für Wald des Kantons Bern, Waldabteilung Oberland Ost, nahm X._ eine Projektänderung vor und sah zum Schutz des Waldes auf der südöstlichen Seite des Vorhabens neu die Erstellung einer 77,25 Meter langen und 3 Meter hohen Schutzwand vor. Am 15. November 2004 erteilte das Amt für Gemeinden und Raumordnung des Kantons Bern eine Ausnahmebewilligung. Mit Gesamtbauentscheid vom 9. Mai 2005 erteilte der Regierungsstatthalter von Interlaken dem Bauvorhaben die Bewilligung.
A._, B._, C._ und D._ beschwerten sich gegen die Gesamtbaubewilligung bei der Bau-, Verkehrs- und Energiedirektion des Kantons Bern. Diese hiess die Beschwerde mit Entscheid vom 29. November 2005 gut. Dagegen erhob X._ Verwaltungsgerichtsbeschwerde. Er beantragte, der Beschwerdeentscheid der Bau-, Verkehrs- und Energiedirektion sei aufzuheben, und der Gesamtbauentscheid sei zu bestätigen. Eventuell sei die Beschwerde nur bezüglich der Hochbauten und dem Aussenlagerplatz für die Zimmerei gutzuheissen und im Übrigen der Bauabschlag zu erteilen. Das Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, wies die Beschwerde mit Urteil vom 8. September 2006 ab. Zur Begründung führte das Verwaltungsgericht aus, die am Standort Birmse errichtete Sägerei sei aufgrund ihrer rund 750 Meter betragenden örtlichen Entfernung vom Standort der alten Sägerei nicht als Wiederaufbau, sondern als Neubau zu betrachten. Eine Ausnahmebewilligung gestützt auf Art. 37a des Bundesgesetzes vom 22. Juni 1979 über die Raumplanung (Raumplanungsgesetz, RPG; SR 700) falle daher ausser Betracht. Ebenso wenig seien die Voraussetzungen für die Erteilung einer Ausnahmebewilligung gestützt auf Art. 24-24d RPG erfüllt. Auch lasse sich aus der 1983 erteilten Ausnahmebewilligung kein Vertrauen begründendes Verhalten der Behörden im Hinblick auf die Bewilligungserteilung für eine spätere Umnutzung der Sägerei ableiten.
A._, B._, C._ und D._ beschwerten sich gegen die Gesamtbaubewilligung bei der Bau-, Verkehrs- und Energiedirektion des Kantons Bern. Diese hiess die Beschwerde mit Entscheid vom 29. November 2005 gut. Dagegen erhob X._ Verwaltungsgerichtsbeschwerde. Er beantragte, der Beschwerdeentscheid der Bau-, Verkehrs- und Energiedirektion sei aufzuheben, und der Gesamtbauentscheid sei zu bestätigen. Eventuell sei die Beschwerde nur bezüglich der Hochbauten und dem Aussenlagerplatz für die Zimmerei gutzuheissen und im Übrigen der Bauabschlag zu erteilen. Das Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, wies die Beschwerde mit Urteil vom 8. September 2006 ab. Zur Begründung führte das Verwaltungsgericht aus, die am Standort Birmse errichtete Sägerei sei aufgrund ihrer rund 750 Meter betragenden örtlichen Entfernung vom Standort der alten Sägerei nicht als Wiederaufbau, sondern als Neubau zu betrachten. Eine Ausnahmebewilligung gestützt auf Art. 37a des Bundesgesetzes vom 22. Juni 1979 über die Raumplanung (Raumplanungsgesetz, RPG; SR 700) falle daher ausser Betracht. Ebenso wenig seien die Voraussetzungen für die Erteilung einer Ausnahmebewilligung gestützt auf Art. 24-24d RPG erfüllt. Auch lasse sich aus der 1983 erteilten Ausnahmebewilligung kein Vertrauen begründendes Verhalten der Behörden im Hinblick auf die Bewilligungserteilung für eine spätere Umnutzung der Sägerei ableiten.
2. X._ hat gegen das Urteil des Verwaltungsgerichts beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Er beantragt, das angefochtene Urteil sei aufzuheben und der Gesamtbauentscheid zu bestätigen. Eventuell sei die Beschwerde nur bezüglich der Hochbauten und dem Aussenlagerplatz für die Zimmerei gutzuheissen und im Übrigen der Bauabschlag zu erteilen. Subeventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Das Verwaltungsgericht sowie das Bundesamt für Raumentwicklung als beschwerdeberechtigte Bundesverwaltungsbehörde beantragen Beschwerdeabweisung. A._, D._, B._ und C._ (private Beschwerdegegner) schliessen ebenfalls auf Beschwerdeabweisung. Die Bau-, Verkehrs- und Energiedirektion sowie die Baukommission der Einwohnergemeinde Unterseen haben auf Vernehmlassung verzichtet. Der Gemeinderat der Einwohnergemeinde Unterseen reichte unaufgefordert eine Vernehmlassung ein.
Das Verwaltungsgericht sowie das Bundesamt für Raumentwicklung als beschwerdeberechtigte Bundesverwaltungsbehörde beantragen Beschwerdeabweisung. A._, D._, B._ und C._ (private Beschwerdegegner) schliessen ebenfalls auf Beschwerdeabweisung. Die Bau-, Verkehrs- und Energiedirektion sowie die Baukommission der Einwohnergemeinde Unterseen haben auf Vernehmlassung verzichtet. Der Gemeinderat der Einwohnergemeinde Unterseen reichte unaufgefordert eine Vernehmlassung ein.
3. Das angefochtene Urteil erging am 8. September 2006 und damit vor Inkrafttreten des Bundesgesetzes über das Bundesgericht vom 17. Juni 2005 (Bundesgerichtsgesetz, BGG; SR 173.110) am 1. Januar 2007. Demzufolge richtet sich das Beschwerdeverfahren nach dem bisherigen Recht (Art. 84 ff. OG; <ref-law>, e contrario).
3. Das angefochtene Urteil erging am 8. September 2006 und damit vor Inkrafttreten des Bundesgesetzes über das Bundesgericht vom 17. Juni 2005 (Bundesgerichtsgesetz, BGG; SR 173.110) am 1. Januar 2007. Demzufolge richtet sich das Beschwerdeverfahren nach dem bisherigen Recht (Art. 84 ff. OG; <ref-law>, e contrario).
4. Die Verwaltungsgerichtsbeschwerde an das Bundesgericht ist gemäss Art. 34 RPG zulässig gegen Entscheide letzter kantonaler Instanzen über Entschädigungen als Folge von Eigentumsbeschränkungen (Art. 5), über die Zonenkonformität von Bauten und Anlagen ausserhalb der Bauzone sowie über Bewilligungen im Sinne von Art. 24-24d RPG. Da Art. 37a RPG einen Spezialfall der in Art. 24c RPG geregelten Bestandesgarantie behandelt, ist nach der Rechtsprechung des Bundesgerichts die Verwaltungsgerichtsbeschwerde grundsätzlich auch in Fällen gegeben, in denen Bewilligungen gestützt auf Art. 37a RPG streitig sind (nicht publ. Bundesgerichtsurteil 1A.289/2004 vom 7. Juni 2005 E. 1.1, mit Hinweisen).
Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, so dass auf die Beschwerde einzutreten ist.
Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, so dass auf die Beschwerde einzutreten ist.
5. Vorliegend ist streitig, ob die Bewilligung der Umnutzung der Sägerei auf Art. 37a RPG in Verbindung mit Art. 43 der Raumplanungsverordnung vom 28. Juni 2000 (RPV; SR 700.1) gestützt werden kann.
Nach Art. 37a RPG regelt der Bundesrat, unter welchen Voraussetzungen Zweckänderungen gewerblich genutzter Bauten und Anlagen zulässig sind, die vor dem 1. Januar 1980 erstellt wurden oder seither als Folge von Änderungen der Nutzungspläne zonenwidrig geworden sind. Da die in der Landwirtschaftszone gelegene Sägerei am Standort "Birmse" nie von einer Zonenplanänderung betroffen war, steht nur zur Diskussion, ob die im Jahr 1983 errichtete Sägerei als Wiederaufbau des 1980 abgebrannten Sägereigebäudes betrachtet werden kann. Dies hätte zur Folge, dass eine Ausnahmebewilligung der Nutzungsänderung der Sägerei auf Art. 37a RPG gestützt werden könnte. Das Verwaltungsgericht geht davon aus, dass die Frage, ob es sich um einen Ersatz- oder einen Neubau handelt, nach der im Jahr 1983 massgebenden Fassung des RPG richtet. Dies wird vom Beschwerdeführer nicht angefochten und ist auch nicht zu beanstanden.
Art. 24 Abs. 2 aRPG (in der Fassung vom 22. Juni 1979) liess den Wiederaufbau bestehender Bauten ausserhalb der Bauzonen zu, wenn er mit den wichtigen Anliegen der Raumplanung vereinbar war. Nach <ref-ruling> E. 3, welchen das Verwaltungsgericht zur Urteilsbegründung heranzog, kommt ein Wiederaufbau im Sinn von Art. 24 Abs. 2 aRPG nur in Betracht, wenn der Ersatzbau in der Grösse und der Nutzung die wesentlichen Züge des Gebäudes wahrt. Ausserdem muss die Identität des Ersatzbaus auch in örtlicher Hinsicht bestehen bleiben. Der Standort der neuen Baute darf daher nicht erheblich von demjenigen des untergeordneten Gebäudes abweichen. Im zitierten Entscheid sah das Bundesgericht zwar davon ab, das zulässige Mass der örtlichen Verschiebung des Ersatzbaus generell zu umschreiben, da die verlangte Wahrung der Identität von den örtlichen Gegebenheiten abhängt. Unter Würdigung der Verhältnisse im konkreten Fall kam es aber zum Schluss, dass der um 260 Meter verschobene Standort für die Ersatzbaute sich ganz erheblich von jenem des abgebrochenen Wohnhauses unterschied und infolge dieser stark unterschiedlichen örtlichen Einbettung dem Bauvorhaben die Identität mit der abgebrochenen Baute abging, weshalb das Bauvorhaben nicht als Wiederaufbau, sondern als Neubau zu qualifizieren war. Zur raumplanerischen Zweckmässigkeit führte das Bundesgericht aus, dass nicht ohne weiteres ein Anspruch auf Wiederaufbau bestehe, sondern dass dafür die gesetzlichen Voraussetzungen erfüllt sein müssten. Eine Ersatzbaute am vorgesehenen Ort stehe im Widerspruch zu der von der Gemeinde geschaffenen Nutzungsplanung. Wenn die Behörden den vorgesehenen Ort aus raumplanerischen Gründen als sinnvoll erachten, wären die planerischen Festlegungen zu überprüfen und entsprechend anzupassen.
Im vorliegenden Fall verhält es sich nicht anders. Das um rund 750 Meter vom alten Standort entfernt liegende, im Jahr 1983 erstellte Sägereigebäude kann nicht mehr als Ersatzbau für die 1980 abgebrannte Sägerei betrachtet, sondern muss als Neubau qualifiziert werden. In Anwendung von Art. 36a Abs. 3 OG kann diesbezüglich ohne weiteres auf die Erwägungen im angefochtenen Urteil verwiesen werden (E. 2.7.2 S. 11-12). Nach dem oben Gesagten vermag daran das Vorbringen des Beschwerdeführers, die Standortverlegung sei aus öffentlichen Interessen erfolgt, nichts zu ändern. Das Verwaltungsgericht hat somit kein Bundesrecht verletzt, wenn es die Voraussetzungen für eine Ausnahmebewilligung gestützt auf Art. 37a RPG, d.h. das Kriterium einer vor 1980 erstellten Baute, als nicht erfüllt betrachtete.
Im vorliegenden Fall verhält es sich nicht anders. Das um rund 750 Meter vom alten Standort entfernt liegende, im Jahr 1983 erstellte Sägereigebäude kann nicht mehr als Ersatzbau für die 1980 abgebrannte Sägerei betrachtet, sondern muss als Neubau qualifiziert werden. In Anwendung von Art. 36a Abs. 3 OG kann diesbezüglich ohne weiteres auf die Erwägungen im angefochtenen Urteil verwiesen werden (E. 2.7.2 S. 11-12). Nach dem oben Gesagten vermag daran das Vorbringen des Beschwerdeführers, die Standortverlegung sei aus öffentlichen Interessen erfolgt, nichts zu ändern. Das Verwaltungsgericht hat somit kein Bundesrecht verletzt, wenn es die Voraussetzungen für eine Ausnahmebewilligung gestützt auf Art. 37a RPG, d.h. das Kriterium einer vor 1980 erstellten Baute, als nicht erfüllt betrachtete.
6. Somit kommt nur die Erteilung einer Ausnahmebewilligung gestützt auf Art. 24-24d RPG in Betracht. Die Voraussetzungen hierzu sind indessen offensichtlich nicht erfüllt. Es kann insoweit wiederum auf das angefochtene Urteil (E. 3 S. 13-14) verwiesen werden. Der Beschwerdeführer macht denn auch nicht geltend, diese Bestimmungen würden Grundlage für die Erteilung einer Ausnahmebewilligung sein können. Auch eine Verletzung des Grundsatzes von Treu und Glauben fällt ausser Betracht, da eine behördlich geschaffene Vertrauensgrundlage, auf die der Beschwerdeführer bei den getätigten Investitionen in den Umbau hätte vertrauen dürfen, nicht ersichtlich ist. Ebenso wenig liegt eine Verletzung der Eigentumsgarantie (<ref-law>) vor, da diese das Eigentum nur innerhalb der Schranken gewährleistet, die ihm im öffentlichen Interesse durch die Rechtsordnung gezogen sind (<ref-ruling> E. 3a S. 246, mit Hinweisen).
6. Somit kommt nur die Erteilung einer Ausnahmebewilligung gestützt auf Art. 24-24d RPG in Betracht. Die Voraussetzungen hierzu sind indessen offensichtlich nicht erfüllt. Es kann insoweit wiederum auf das angefochtene Urteil (E. 3 S. 13-14) verwiesen werden. Der Beschwerdeführer macht denn auch nicht geltend, diese Bestimmungen würden Grundlage für die Erteilung einer Ausnahmebewilligung sein können. Auch eine Verletzung des Grundsatzes von Treu und Glauben fällt ausser Betracht, da eine behördlich geschaffene Vertrauensgrundlage, auf die der Beschwerdeführer bei den getätigten Investitionen in den Umbau hätte vertrauen dürfen, nicht ersichtlich ist. Ebenso wenig liegt eine Verletzung der Eigentumsgarantie (<ref-law>) vor, da diese das Eigentum nur innerhalb der Schranken gewährleistet, die ihm im öffentlichen Interesse durch die Rechtsordnung gezogen sind (<ref-ruling> E. 3a S. 246, mit Hinweisen).
7. Nach dem Gesagten erweist sich die Verwaltungsgerichtsbeschwerde als offensichtlich unbegründet und ist dementsprechend im Verfahren nach Art. 36a OG abzuweisen. Ausgangsgemäss hat der Beschwerdeführer eine reduzierte Gerichtsgebühr zu tragen (Art. 153a OG in Verbindung mit Art. 156 Abs. 1 OG). Ausserdem hat er den anwaltlich vertretenen privaten Beschwerdegegner A._ angemessen zu entschädigen (Art. 159 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
im Verfahren nach Art. 36a OG:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 1'500.-- wird dem Beschwerdeführer auferlegt.
2. Die Gerichtsgebühr von Fr. 1'500.-- wird dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat den privaten Beschwerdegegner A._ für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
3. Der Beschwerdeführer hat den privaten Beschwerdegegner A._ für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien, der Einwohnergemeinde Unterseen, der Bau-, Verkehrs- und Energiedirektion und dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 23. März 2007
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin: