Sachverhalt:
A.
Mit Schreiben vom 2. und 19. Oktober 2017 reichte B._ bei der Einwohnergemeinde Rüdtligen-Alchenflüh ein Baugesuch ein für das Erstellen eines Carports (mit Veloraum), vier Parkfelder, eine Fassadenänderung des bestehenden Einfamilienhauses und die Gestaltung der Umgebung. Baugrundstück ist die Parzelle Nr. 405. Gegen das Vorhaben erhob A._, Mieter der Liegenschaft auf der Nachbarparzelle Nr. 663, am 17. November 2017 Einsprache. Mit Verfügung vom 19. März 2018 erteilte die Einwohnergemeinde die Bewilligung und wies die Einsprache ab, soweit sie darauf eintrat.
Dagegen erhob A._ am 9. April 2018 Beschwerde bei der Bau-, Verkehrs- und Energiedirektion des Kantons Bern (BVE). Diese hiess die Beschwerde mit Entscheid vom 20. August 2018 teilweise gut und hob die Baubewilligung in Bezug auf das Nebengebäude (Carport und Veloraum) sowie die Parkfelder Nrn. 1 und 2 auf.
Die von B._ dagegen erhobene Verwaltungsgerichtsbeschwerde hiess das Verwaltungsgericht des Kantons Bern mit Urteil vom 3. April 2019 gut. Es bestätigte die kommunale Baubewilligung, wobei es diese mit der Auflage ergänzte, dass im Veloraum keine (gewerblichen) Arbeitsprozesse ausgeführt werden dürfen, dass der Veloraum nicht beheizt werden und darin kein Wasseranschluss installiert werden darf.
B.
Mit Eingabe vom 4. Mai 2019 erhebt A._ Beschwerde an das Bundesgericht und beantragt sinngemäss die Aufhebung des Urteils des Verwaltungsgerichts.
Das Verwaltungsgericht und die Einwohnergemeinde Rüdtligen-Alchenflüh schliessen auf Abweisung der Beschwerde. Die BVE verzichtet auf eine Stellungnahme. B._ beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Beschwerdeführer hat dazu Stellung genommen.

Erwägungen:
1.
1.1. Dem angefochtenen Entscheid liegt ein Beschwerdeverfahren über eine baurechtliche Bewilligung zu Grunde. Dagegen ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> das zutreffende Rechtsmittel. Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen, ist als Nachbar durch den angefochtenen Entscheid besonders berührt und hat ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist grundsätzlich einzutreten.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet dieses von Amtes wegen an (<ref-law>), prüft die bei ihm angefochtenen Entscheide aber grundsätzlich nur auf Rechtsverletzungen hin, die die beschwerdeführende Person vorbringt und begründet (vgl. <ref-law>). Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten gerügt wird (<ref-law>). Die Anwendung von kantonalem Recht überprüft das Bundesgericht grundsätzlich nur auf Willkür und bloss insoweit, als eine solche Rüge in der Beschwerde präzis vorgebracht und begründet wird (<ref-law> i.V.m. <ref-law> und <ref-law>). Es legt seinem Urteil weiter den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig, das heisst willkürlich, oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Eine entsprechende Rüge ist ebenfalls substanziiert vorzubringen (Art. 42 Abs. 2 und <ref-law>).
2.
Soweit der Beschwerdeführer die Sachverhaltsfeststellung durch die Vorinstanz beanstandet, zeigt er nicht auf, weshalb diese willkürlich ist und für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>).
Zunächst macht er geltend, es gebe keinen Beweis dafür, dass die Erschliessungsstrasse bereits vor 1970 existierte. Gemäss dem angefochtenen Entscheid ist dies für die Abstandsvorschriften massgeblich. Das Verwaltungsgericht verweist dazu auf von der Gemeinde vorgelegte Luftaufnahmen von 1937 und 1951, auf denen ein Trampelpfad und später ein ausgebauter Weg erkennbar seien. Darauf geht der Beschwerdeführer nicht ein.
Weiter behauptet er, dass die zusätzlichen Parkplätze Manöver auf der gemeinsamen Strasse erforderlich machten und dadurch Unannehmlichkeiten entstünden. Weder findet diese Behauptung in den Baubewilligungsplänen eine Stütze noch legt der Beschwerdeführer dar, inwiefern daraus eine Bundesrechtsverletzung resultiert. Nicht ersichtlich ist auch, welche Bedeutung der in diesem Zusammenhang erhobenen Kritik, die tatsächliche Grundstücksfläche sei nicht ermittelt worden, zukommen soll. Dasselbe gilt für die Behauptung, die Strasse sei 4,5 m und nicht 3 m breit.
3.
3.1. Sinngemäss stellt der Beschwerdeführer die Unabhängigkeit und Unparteilichkeit des Verwaltungsgerichts in Frage. Er beanstandet, dass der Bauherr im vorinstanzlichen Verfahren per Telefon aufgefordert worden sei, eine Kostennote einzureichen. Das Urteil übernehme zudem fast wörtlich die Eingabe dessen Rechtsvertreters. Weiter sei die Vernehmlassung der Gemeinde zu spät beim Verwaltungsgericht eingetroffen, weshalb es diese nicht hätte berücksichtigen dürfen. Schliesslich behauptet er, der Bauherr sei vom Richter vorgeladen worden, um mit ihm zu diskutieren.
3.2. Nach <ref-law> und Art. 6 Ziff. 1 EMRK hat jede Person Anspruch darauf, dass ihre Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Gericht ohne Einwirken sachfremder Umstände entschieden wird. Die Garantie wird verletzt, wenn bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit begründen (<ref-ruling> E. 2.2 S. 242 mit Hinweisen).
3.3. Die telefonische Aufforderung an eine Partei, eine Kostennote einzureichen, begründet keinen Anschein der Befangenheit. Dasselbe gilt für das Vorbringen, im Urteil würden die Ausführungen der Gegenseite fast wörtlich übernommen. Soweit der Beschwerdeführer weiter geltend macht, die Gemeinde habe ihre Stellungnahme verspätet eingereicht, übersieht er offenbar, dass die vom Verwaltungsgericht dafür angesetzte Frist erst ab Erhalt der Verfügung zu laufen begann und nicht bereits am Tag deren Erlasses. Nicht nachvollziehbar ist schliesslich die Behauptung, der Bauherr sei vom Richter zu Besprechungen vorgeladen worden. Der Beschwerdeführer bezieht sich dabei auf Erwägung 1.1 des angefochtenen Entscheids. Dort werden die Eintretensvoraussetzungen geprüft und wird unter anderem festgehalten, dass der Beschwerdeführer (des verwaltungsgerichtlichen Verfahrens) am vorinstanzlichen Verfahren teilgenommen habe. Möglicherweise handelt es sich insoweit um ein Missverständnis. Die Rüge ist jedenfalls unbegründet, soweit sie hinreichend substanziiert wurde.
4.
Die weitere Kritik des Beschwerdeführers genügt den Begründungsanforderungen von Art. 42 Abs. 2 und <ref-law> ebenfalls nicht. Das gilt insbesondere für die Behauptung, das Gebäude integriere sich nicht in die Landschaft, sowie für die mehrfach erhobenen Vorwürfe gegenüber der Gemeinde, eine Komplizenschaft mit dem Bauherrn zu pflegen und diesen bisher nie kontrolliert zu haben.
5.
Die Beschwerde ist aus diesen Erwägungen abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Er hat dem privaten Beschwerdegegner eine angemessene Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat dem Beschwerdegegner 1 eine Parteientschädigung von Fr. 2'000.-- zu bezahlen.
4.
Dieses Urteil wird den Parteien, der Bau-, Verkehrs- und Energiedirektion sowie dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 7. Oktober 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Dold