Erwägungen:
1.
1.1. A._ ist Eigentümer der von ihm landwirtschaftlich genutzten Parzelle Nr. 2391 im Grundbuch Pieterlen. Im April meldete er der Einwohnergemeinde Pieterlen aufgrund selbst veranlasster Boden- und Wasseranalysen die mutmassliche Existenz von belastetem Material auf seiner Liegenschaft. Mit Verfügung vom 16. August 2019 stellte das Amt für Wasser und Abfall des Kantons Bern (AWA) fest, der ehemalige Grubenbereich auf der Parzelle Nr. 2391 gelte als belasteter Standort, dieser sei aufgrund seiner Lage und der nachgewiesenen Abfälle nicht untersuchungsbedürftig und der fragliche Bereich werde in den Kataster der belasteten Standorte des Kantons Bern eingetragen. Dagegen erhob A._ Beschwerde bei der nachmaligen Bau- und Verkehrsdirektion des Kantons Bern (BVD) und beantragte insbesondere, die Sanierungsbedürftigkeit des Standorts näher zu untersuchen. Am 30. Januar 2020 wies die Direktion die Beschwerde ab. Am 29. Februar 2020 erhob A._ dagegen Beschwerde beim Verwaltungsgericht des Kantons Bern. Mit Eingabe vom 29. März 2021 reichte A._ beim Bundesgericht Beschwerde wegen Rechtsverweigerung bzw. -verzögerung ein. Die Bau- und Verkehrsdirektion verzichtete auf eine Vernehmlassung. Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde. A._ äusserte sich am 2. Juni 2021 nochmals zur Sache.
1.2. Mit Urteil vom 28. Mai 2021 wies das Verwaltungsgericht die bei ihm hängige Beschwerde ab und stellte dieses Urteil nebst den Verfahrensbeteiligten auch dem Bundesgericht zu.
2.
2.1. Nach Art. 94 BGG kann beim Bundesgericht gegen das unrechtmässige Verweigern oder Verzögern eines anfechtbaren Entscheids Beschwerde geführt werden. Im vorliegenden Fall geht es um ein entsprechendes Verfahren vor der letzten kantonalen Instanz.
2.2. Am 28. Mai 2021 fällte das Verwaltungsgericht den vom Beschwerdeführer angestrebten Entscheid in der Sache und beendete damit das vorinstanzliche Verfahren. Der Beschwerdeführer vermag kein ausreichendes Interesse an der Feststellung einer Rechtsverzögerung darzutun. Seine Beschwerde wurde behandelt, und es ist nicht ersichtlich, inwiefern er noch immer ein Interesse an der Feststellung einer verzögerten Behandlung des Rechtsmittels haben sollte. Das würde grundsätzlich dazu führen, dass die Beschwerde abzuschreiben wäre, wobei nach Vernehmlassung der Parteien mit summarischer Begründung über die Prozesskosten aufgrund der Sachlage vor Eintritt des Erledigungsgrundes zu entscheiden wäre (Art. 71 BGG in Verbindung mit Art. 72 BZP; BGE 125 V 373 E. 2a; Verfügung des Bundesgerichts 1C_483/2020 vom 25. März 2021 E. 4). Wie es sich damit verhält, kann letztlich jedoch offenbleiben.
3.
3.1. Nach Art. 90 BGG ist die Beschwerde nur zulässig gegen Entscheide, die das Verfahren abschliessen. Davon gilt, von hier nicht interessierenden weiteren Tatbeständen abgesehen, eine Ausnahme, wenn selbständig eröffnete Vor- oder Zwischenentscheide einen nicht wieder gutzumachenden Nachteil bewirken können (Art. 93 Abs. 1 lit. a BGG).
3.2. Nach Art. 32d USG trägt der Verursacher die Kosten für notwendige Massnahmen zur Untersuchung, Überwachung und Sanierung belasteter Standorte (Abs. 1). Sind mehrere Verursacher beteiligt, so tragen sie die Kosten entsprechend ihren Anteilen an der Verursachung. In erster Linie trägt die Kosten, wer die Massnahmen durch sein Verhalten verursacht hat. Wer lediglich als Inhaber des Standorts beteiligt ist, trägt keine Kosten, wenn er bei Anwendung der gebotenen Sorgfalt von der Belastung keine Kenntnis haben konnte (Abs. 2). Das zuständige Gemeinwesen trägt den Kostenanteil der Verursacher, die nicht ermittelt werden können oder zahlungsunfähig sind (Abs. 3). Die Behörde erlässt eine Verfügung über die Kostenverteilung, wenn ein Verursacher dies verlangt oder die Behörde die Massnahmen selber durchführt (Abs. 4). Ergibt die Untersuchung eines im Kataster eingetragenen oder für den Eintrag vorgesehenen Standortes, dass dieser nicht belastet ist, so trägt das zuständige Gemeinwesen die Kosten für die notwendigen Untersuchungsmassnahmen (Abs. 5).
3.3. Ein Entscheid im Zusammenhang mit der altlastenrechtlichen Untersuchung gemäss Art. 32d USG stellt nach der Rechtsprechung dann einen Endentscheid dar, wenn darin die Untersuchungskosten (aus der Vor- und Detailuntersuchung) abschliessend festgesetzt werden (Urteil des Bundesgerichts 1C_315/2020 vom 22. März 2021 E. 1.1). Im Übrigen handelt es sich dabei jedoch um einen Zwischenentscheid, für dessen Anfechtung ein irreversibler Nachteil erforderlich ist (vgl. BGE 136 II 370 E. 1). Der Beschwerdeführer erleidet keinen solchen Nachteil, da keine altlastenrechtlichen Untersuchungen angeordnet noch ihm für solche Erhebungen Kosten auferlegt wurden.
3.4. Ist damit die Beschwerde in der Hauptsache ausgeschlossen, gilt dies mit Blick auf den Grundsatz der Einheit des Verfahrens auch für die in der gleichen Angelegenheit geltend gemachte Rechtsverweigerungs- bzw. -verzögerungsbeschwerde.
4.
Die Beschwerde erweist sich als offensichtlich unzulässig, weshalb darauf im Verfahren nach Art. 108 BGG nicht einzutreten ist.
Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG).
Demnach erkennt der Einzelrichter:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Bau- und Verkehrsdirektion des Kantons Bern und dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 10. Juni 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Einzelrichter: Haag
Der Gerichtsschreiber: Uebersax