Sachverhalt:
A.
A._ ist Eigentümer der in der Mischzone gelegenen Parzelle Oberdiessbach 2 (Aeschlen) Gbbl. Nr. 221. Im Oktober 2016 beklagte er sich bei der Einwohnergemeinde Oberdiessbach über Rauchimmissionen aus der Stückholzfeuerungsanlage auf der Nachbarparzelle Gbbl. Nr. 321 im Eigentum von B._. Die Gemeinde stellte fest, dass der Kamin der Stückholzfeuerungsanlage nicht den gesetzlichen Bestimmungen entsprach. Ihren Anordnungen zur Wiederherstellung des rechtmässigen Zustands kam B._ nach, indem er einen Versatz am Kamin anbrachte und diesen gegen Westen abwinkelte. A._ war mit diesen Wiederherstellungsmassnahmen nicht zufrieden. In der Folge führte die Gemeinde ein nachträgliches Baubewilligungsverfahren durch, an dem sich A._ erfolglos als Einsprecher beteiligte. Die B._ am 1. September 2017 erteilte Baubewilligung erwuchs unangefochten in Rechtskraft.
Da die Belästigung durch Rauchimmissionen seiner Meinung nach weiterhin anhielt, beantragte A._ am 1. Juli 2019 bei der Gemeinde die "Revision" der Baubewilligung vom 1. September 2017. Mit Verfügung vom 28. Oktober 2019 wies die Gemeinde den Antrag auf Wiederaufnahme des abgeschlossenen Baubewilligungsverfahrens ab. Diese Verfügung focht A._ am 11. November 2019 bei der Bau-, Verkehrs- und Energiedirektion des Kantons Bern (BVE; heute: Bau- und Verkehrsdirektion [BVD]) an. Mit Entscheid vom 20. Januar 2020 wies die BVD die Beschwerde ab. Die dagegen am 12. Februar 2020 erhobene Verwaltungsgerichtsbeschwerde wies das Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, mit Urteil vom 29. März 2021 ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 25. April 2021 stellte A._ sinngemäss den Antrag, das Urteil des Verwaltungsgerichts des Kantons Bern vom 29. März 2021 sei aufzuheben und es sei eine den ungleichen Gebäudehöhen entsprechende Kaminhöhe durchzusetzen.
Das Verwaltungsgericht, die BVD, die Gemeinde und sinngemäss auch B._ beantragen, die Beschwerde abzuweisen. A._ und B._ haben jeweils eine weitere Stellungnahme eingereicht.

Erwägungen:
1.
1.1. Gegen den kantonal letztinstanzlichen Endentscheid der Vorinstanz im Bereich des Baurechts steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich offen (<ref-law>; <ref-ruling> E. 2). Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen und ist als Nachbar zur Beschwerdeführung legitimiert (<ref-law>).
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Bundesrecht von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten, einschliesslich die willkürliche Anwendung von kantonalem und kommunalem Recht, prüft es jedoch nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Dabei gelten qualifizierte Begründungsanforderungen. Soweit diese nicht eingehalten sind, ist auf die Rügen nicht einzutreten (zum Ganzen: <ref-ruling> E. 1.2 S. 48; <ref-ruling> E. 1.3; je mit Hinweisen). Gleiches gilt, soweit die Begründung - entgegen <ref-law> - erst nach Ablauf der Beschwerdefrist (in der Replik oder späteren Eingaben) nachgeschoben wurde (Urteil 1C_664/2018 vom 14. November 2019 E. 1.3).
1.3. Wie aus den nachfolgenden Erwägungen hervorgeht, genügt die Beschwerde diesen Anforderungen nicht.
2.
2.1. Für das vom Beschwerdegegner erstellte Kamin liegt eine rechtskräftige Baubewilligung vom 1. September 2017 vor. Der Beschwerdeführer verlangt deren Widerruf. Die Verwaltungsbehörden können unter bestimmten Voraussetzungen ihre Verfügungen in Wiedererwägung ziehen (<ref-ruling> E. 7a mit Hinweisen). Sie sind dazu gehalten, soweit sich eine entsprechende Pflicht aus einer gesetzlichen Regelung oder einer konstanten Verwaltungspraxis ergibt. Überdies fliesst aus <ref-law> ein Anspruch auf Wiedererwägung, wenn sich die Verhältnisse seit dem ersten Entscheid erheblich geändert haben oder wenn der Gesuchsteller Tatsachen und Beweismittel anführt, die ihm im früheren Verfahren nicht bekannt waren oder die schon damals geltend zu machen für ihn rechtlich oder tatsächlich unmöglich war oder hierzu keine Veranlassung bestand (<ref-ruling> E. 2.1; Urteil 2D_10/2021 vom14. April 2021 E. 5.2; je mit Hinweisen). Das Verwaltungsgericht prüfte den Anspruch des Beschwerdeführers auf Wiedererwägung am Massstab von Art. 56 des Gesetzes über die Verwaltungsrechtspflege des Kantons Bern vom 23. Mai 1989 (VRPG; BSG 155.21) und Art. 43 Abs. 1 des Baugesetzes des Kantons Bern vom 9. Juni 1985 (BauG; BSG 721.0). Diese Bestimmungen gehen über den erwähnten verfassungsrechtlichen Anspruch auf Wiedererwägung hinaus. Die Prüfung des Bundesgerichts beschränkt sich insofern, da es sich um kantonales Recht handelt, auf Willkür.
2.2. Das Verwaltungsgericht hat sich eingehend mit dem Umweltschutzrecht des Bundes und den darauf gestützt vom Bundesamt für Umwelt (BAFU) erlassenen Kamin-Empfehlungen auseinandergesetzt (BAFU, Mindesthöhe von Kaminen über Dach, 2018, abrufbar unter «https://www.bafu.admin.ch/uv-1318-d» [besucht am 21. Oktober 2021]; vgl. dazu Urteil 1C_655/2019 vom 26. Oktober 2020 E. 6 mit Hinweisen). Auch prüfte es die Kritik des Beschwerdeführers anhand des kantonalen Feuerpolizeirechts. Es kam gestützt darauf zum Schluss, dass die Baubewilligung nicht im Widerspruch zu öffentlich-rechtlichen Vorschriften erteilt worden sei, weshalb ein Widerruf der Baubewilligung ausser Betracht falle.
2.3. Der Beschwerdeführer setzt sich mit den vorinstanzlichen Erwägungen zur Rechtmässigkeit der Baubewilligung nicht hinreichend auseinander. Vor allem aber legt er auch nicht ansatzweise dar, dass ein Anspruch auf Wiedererwägung nach <ref-law> gegeben wäre oder dass das Verwaltungsgericht mit seinem Entscheid die erwähnten kantonalrechtlichen Vorschriften zum Widerruf willkürlich angewendet hätte.
3.
Auf die Beschwerde ist somit nicht einzutreten.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>). Der nicht anwaltlich vertretene Beschwerdegegner hat keinen Anspruch auf eine Parteientschädigung (<ref-ruling> E. 4).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, der Einwohnergemeinde Oberdiessbach, der Bau- und Verkehrsdirektion des Kantons Bern und dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 5. November 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Dold