Sachverhalt:
A.
A._ ist Eigentümer der Parzelle Nr. 670 in Blumenstein. Durch den südlichen Teil des Grundstücks fliesst der Riedbach. Am 24. November 2017 stellte A._ ein Baugesuch für den Neubau eines Einfamilienhauses mit Einliegerwohnung. Am 7. Juni 2019 verfügte die Einwohnergemeinde Blumenstein den Bauabschlag.
Diese Verfügung focht A._ bei der Bau-, Verkehrs- und Energiedirektion (BVE), der heutigen Bau- und Verkehrsdirektion (BVD), an. Diese wies die Beschwerde mit Entscheid vom 10. Dezember 2019 ab, soweit sie darauf eintrat. Eine von A._ dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Bern mit Urteil vom 17. Dezember 2020 im Kostenpunkt gut, wies sie im Übrigen jedoch ab.
B.
Mit Beschwerde ans Bundesgericht vom 21. Januar 2020 [recte: 2021] beantragt A._, das Verwaltungsgericht sei anzuweisen, die Baubewilligung zu erteilen.
Die Bau- und Verkehrsdirektion, das Verwaltungsgericht und die Gemeinde schliessen auf Abweisung der Beschwerde.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einer öffentlich-rechtlichen Angelegenheit (Art. 82 lit. a, Art. 86 Abs. 1 lit. d und Art. 90 BGG). Dagegen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegeben. Der Beschwerdeführer ist als Baugesuchsteller zur Beschwerde berechtigt (<ref-law>).
Der Beschwerdeführer verlangt die Anweisung an die Vorinstanz, die Baubewilligung zu erteilen, äussert sich jedoch nicht zur Aufhebung des angefochtenen Entscheids. Wie alle Prozesshandlungen sind auch Rechtsbegehren nach Treu und Glauben auszulegen, insbesondere im Licht der dazu gegebenen Begründung (<ref-ruling> E. 1 S. 127). Es ist vor diesem Hintergrund und gestützt auf die Beschwerde insgesamt davon auszugehen, dass der Beschwerdeführer vorab die Aufhebung des verwaltungsgerichtlichen Urteils anstrebt, dies jedoch nur im Umfang seines Unterliegens.
Auf seine Beschwerde ist in diesem Sinne einzutreten.
2.
Das Verwaltungsgericht legte dar, das Bauvorhaben liege teilweise im übergangsrechtlichen Gewässerraum des Riedbachs (vgl. Abs. 2 der Übergangsbestimmungen zur Änderung vom 4. Mai 2011 der Gewässerschutzverordnung vom 28. Oktober 1998 [GSchV; SR 814.201]).
Im Gewässerraum dürfen nach Art. 41c Abs. 1 Satz 1 GSchV nur standortgebundene, im öffentlichen Interesse liegende Anlagen wie Fuss- und Wanderwege, Flusskraftwerke und Brücken erstellt werden. Sofern keine überwiegenden Interessen entgegenstehen, kann die Behörde gemäss Satz 2 dieser Bestimmung ausserdem die Erstellung unter anderem folgender Anlagen bewilligen: zonenkonforme Anlagen in dicht überbauten Gebieten (lit. a) und zonenkonforme Anlagen ausserhalb von dicht überbauten Gebieten auf einzelnen unüberbauten Parzellen innerhalb einer Reihe von mehreren überbauten Parzellen (lit. a bis).
Da das Bauvorhaben nicht standortgebunden ist, prüfte das Verwaltungsgericht die Voraussetzungen der Tatbestände von Art. 41c Abs. 1 lit. a und a bis GSchV und kam zum Schluss, sie seien beide nicht erfüllt. Der Beschwerdeführer beruft sich im bundesgerichtlichen Verfahren nicht mehr auf lit. a, sondern rügt einzig noch, dass eine Bewilligung gestützt auf lit. a biserteilt werden müsse.
3.
3.1. Der Beschwerdeführer macht im Wesentlichen geltend, der Gewässerraum sei "voll von Anlagen". Auch die Strasse auf der anderen Seite des Bachs sei eine solche Anlage. Ökologisch bestehe kein Potenzial zur Aufwertung. Es handle sich zudem um eine zentrale Lage.
3.2. Im Erläuternden Bericht zur Änderung der Gewässerschutzverordnung (S. 5) führt das BAFU zu Art. 41c Abs. 1 lit. a bis GSchV aus, dass es bereits bisher möglich gewesen sei, in dicht überbautem Gebiet neue zonenkonforme Anlagen im Gewässerraum zuzulassen, sofern keine überwiegenden Interessen entgegenstehen. Auch ausserhalb von dicht überbautem Gebiet könne es jedoch vorkommen, dass die Freihaltung des Gewässerraums auf einzelnen unbebauten Parzellen entlang des Gewässers selbst auf lange Sicht keinen Nutzen für das Gewässer bringe, weil die Raumverhältnisse auf Grund von bestehenden Anlagen mit Bestandesschutz auf lange Sicht beengt blieben. Die mit der Revision vom 22. März 2017 eingefügte Bestimmung solle neu das Schliessen solcher Lücken ermöglichen (vgl. zur Entstehungsgeschichte der Norm auch Urteil 1C_217/2018 vom 11. April 2019 E. 3.5 mit Hinweisen, in: URP 2019 S. 757).
3.3. Das Verwaltungsgericht hielt fest, dass gemäss dem Fachbericht des kantonalen Amts für Gemeinden und Raumordnung (AGR) innerhalb eines Betrachtungsperimeters von 5'000 m2 nur das Gebäude auf der westlichen Nachbarparzelle geringfügig in den Gewässerraum hineinrage. Ansonsten sei der Gewässerraum in diesem Perimeter vollständig frei von Bauten. Die Akten bestätigen diese Feststellung. Damit steht fest, dass in der nahen Umgebung der übergangsrechtliche Gewässerabstand weitestgehend eingehalten wird und somit die Raumverhältnisse für den Riedbach in diesem Bereich nicht als beengt bezeichnet werden können. Dass dies weiter entfernt und auf der gegenüberliegenden Seite, wo eine Strasse dem Bach entlang führt, anders ist, spielt keine Rolle (vgl. Urteil 1C_217/2018 vom 11. April 2019 E. 3.6 mit Hinweis). Das Verwaltungsgericht hat somit Art. 41c Abs. 1 lit. a bis GSchV nicht verletzt, wenn es davon ausging, dass im vorliegenden Fall keine Ausnahmebewilligung in Betracht falle. Dies gilt umso mehr, als gemäss der Praxis die Ausnahmen vom Grundsatz des Schutzes und der extensiven Nutzung des Gewässerraums restriktiv zu handhaben sind (<ref-ruling> E. 7 i.f.).
4.
Die Beschwerde ist aus diesen Erwägungen abzuweisen.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Es ist keine Parteientschädigung zuzusprechen (Art. 68 Abs. 1-3).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Einwohnergemeinde Blumenstein, der Bau- und Verkehrsdirektion und dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 1. April 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Dold