Sachverhalt:
A.
Die Bau- und Werkkommission der Gemeinde Erlinsbach (SO) erteilte A._ am 5. April 2019 unter Auflagen die Baubewilligung für den Neubau eines Einfamilienhauses mit Einstellhalle auf dem Grundstück Nr. 1081 Grundbuch (GB) Obererlinsbach. Gleichzeitig wies sie die u.a. von den Nachbarn B._, C. und D. E._ sowie F. und G. H._ gegen das Projekt erhobenen Einsprachen im Wesentlichen ab.
B.
Das Bau- und Justizdepartement des Kantons Solothurn (BJD) hiess am 16. April 2020 die Beschwerde der genannten Einsprecher gegen den Bauentscheid teilweise gut. Es ergänzte die Baubewilligung mit zwei Nebenbestimmungen. Im Übrigen wies es die Beschwerde ab. Die eine Ergänzung bezog sich auf die Erschliessung des Baugrundstücks. Gemäss der anderen Ergänzung dürfen in der Einstellhalle drei Parkplätze für die Wohnwagenvermietung im Sinne eines Gewerbes betrieben werden; im Übrigen ist die Fläche privat zu nutzen.
Den Entscheid des BJD zogen B._, C. und D. E._ sowie F. und G. H._ an das Verwaltungsgericht des Kantons Solothurn weiter. Dieses erachtete das Bauvorhaben als nicht bewilligungsfähig. Es hiess die Beschwerde mit Urteil vom 27. August 2020 gut und hob den angefochtenen Entscheid auf.
C.
A._ führt mit Eingabe vom 1. Oktober 2020 Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht. Er beantragt die Aufhebung des angefochtenen Urteils.
B._, C. und D. E._ sowie F. und G. H._ ersuchen um Abweisung der Beschwerde, soweit darauf einzutreten sei. Die kommunale Bau- und Werkkommission äussert sich zur Beschwerde. Das BJD stellt Antrag auf Gutheissung und das Verwaltungsgericht Antrag auf Abweisung der Beschwerde.
Das Verwaltungsgericht und die Beschwerdegegner nehmen am 17. bzw. 23. November 2020 Stellung zur Vernehmlassung des BJD. Innert angesetzter Frist reicht A._ am 13. September 2021 Bemerkungen zur Eingabe des Verwaltungsgerichts ein.

Erwägungen:
1.
1.1. Gegen den kantonal letztinstanzlichen Endentscheid der Vorinstanz im Bereich des Baurechts steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten grundsätzlich offen (Art. 82 f. BGG; <ref-ruling> E. 2). Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen und ist als Baugesuchsteller zur Beschwerde legitimiert (<ref-law>).
1.2. In der Beschwerde wird beantragt, der angefochtene Entscheid sei aufzuheben, ohne dass ein Antrag in der Sache gestellt wird. Unter Einbezug der Beschwerdebegründung geht in Verbindung mit dem angefochtenen Urteil aber hervor, dass der Beschwerdeführer die Wiederherstellung des Entscheids des BJD anstrebt. Die Anforderungen an das Rechtsbegehren stehen einem Eintreten auf die Beschwerde somit nicht entgegen (vgl. <ref-law>; <ref-ruling> E. 1.3; Urteil des Bundesgerichts 1C_645/2018 vom 21. November 2019 E. 1.3).
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das kantonale Gesetzesrecht stellt, von hier nicht in Betracht fallenden Ausnahmen abgesehen (vgl. <ref-law>), keinen Beschwerdegrund dar. Das Bundesgericht prüft das fragliche kantonale Recht daher nur auf Bundesrechtsverletzung hin (vgl. <ref-ruling> E. 3.1.3; <ref-ruling> E. 2.1). Das Bundesgericht wendet das Bundesrecht grundsätzlich von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten (einschliesslich die willkürliche Anwendung von kantonalem Recht) prüft es dagegen nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und genügend begründet worden ist (<ref-law>; Rügeprinzip). In der Beschwerde ist deshalb klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, inwiefern Grundrechte verletzt worden sein sollen (vgl. <ref-ruling> E. 3; <ref-ruling> E. 2.1 S. 372).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die vorinstanzliche Sachverhaltsfeststellung kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (vgl. <ref-law>). Für entsprechende Sachverhaltsrügen gilt das strenge Rügeprinzip (vgl. <ref-law>; <ref-ruling> E. 4.1; <ref-ruling> E. 2.3).
Ob die Beschwerdeschrift die Anforderungen an die Rügepflicht erfüllt, ist im jeweiligen Sachzusammenhang zu prüfen.
2.
2.1. Nach dem angefochtenen Urteil hat das geplante Einfamilienhaus im Erd- und Attikageschoss zusammen eine Fläche von 324.9 m2. Weiter weist die im Untergeschoss vorgesehene Einstellhalle eine Fläche von 315.5 m2 auf; daneben sind in diesem Geschoss weitere Räume vorgesehen. Das BJD ging in seinem Entscheid davon aus, es seien in der Einstellhalle drei Abstellplätze für Personenwagen und fünf für Wohnwagen bzw. Wohnmobile geplant. Bei der zuletzt genannten Kategorie von Abstellplätzen sollten nach Angaben des Bauherrn drei vermietet werden; die übrigen Abstellplätze würden dem Eigengebrauch dienen. Auf Erdgeschosshöhe werde neben dem Einfamilienhaus ein Autounterstand mit zwei Parkplätzen angeordnet. Der Bauherr besitze nach seinen Angaben mehrere Wohnwagen. Sein Traum sei der Erwerb von Oldtimern.
2.2. Das Verwaltungsgericht überprüfte die Zonenkonformität der Einstellhalle. Es stützte sich dabei auf § 30 des kantonalen Planungs- und Baugesetzes vom 3. Dezember 1978 (PBG; BGS 711.1). Danach sind in den Wohnzonen neben Wohnbauten nichtstörende Gewerbe- und Dienstleistungsbetriebe zulässig, welche der Bauweise der Zone angepasst sind. Weiter berücksichtigte das Verwaltungsgericht die Bestimmung des kommunalen Zonenreglements, die nichtstörende quartierspezifische Kleingewerbe- und Dienstleistungsbetriebe (z.B. Coiffeur, Arzt) zulässt, welche an die Wohnnutzung angepasst sind. Ausserdem bezog das Verwaltungsgericht in seine Überlegungen die Vorschriften von § 147 PBG und § 42 der kantonalen Bauverordnung vom 3. Juli 1978 (KBV; BGS 711.61) über Abstellplätze für Motorfahrzeuge ein. Gemäss § 147 Abs. 1 PBG sind bei der Erstellung und Änderung von Bauten und baulichen Anlagen oder bei deren Nutzungsänderung die für die jeweilige Nutzung erforderlichen Abstellplätze für Motorfahrzeuge zu schaffen, sofern nicht überwiegende Interessen des Umweltschutzes oder der Raumplanung entgegenstehen. § 42 Abs. 1 KBV bestimmt, dass die für die jeweilige Nutzung erforderlichen oder zulässigen Abstellplätze für Motorfahrzeuge von der Baubehörde festgelegt werden. § 42 Abs. 3 i.V.m. Anhang III KBV sieht Richtwerte für die Festlegung des Angebots an Abstellplätzen vor.
2.3. In allgemeiner Weise erwog das Verwaltungsgericht, Nutzungen in der Wohnzone seien nicht nur wegen der Immissionen, sondern auch funktional zu beschränken. Es sei ein funktionaler Zusammenhang zwischen dem konkreten Vorhaben und dem Zonenzweck nötig. Gewerbe sei nur zonengerecht, wenn es der Befriedigung der täglichen Bedürfnisse eines Wohnquartiers diene. Darüber hinaus würden der Wohnnutzung praxisgemäss auch Räume für Freizeitbeschäftigungen und andere Nutzungen zugerechnet, sofern diese einen hinreichenden Bezug zum Wohnen aufweisen würden. Ob dieser Bezug ausreichend gegeben sei, werde in abstrakter Weise anhand der Eigenschaften des jeweiligen Betriebstyps und dem Charakter der in Frage stehenden Wohnzone geprüft. Entscheidend sei, ob mit der betroffenen Nutzung typischerweise Belästigungen verbunden seien, die über das hinausgehen, was normalerweise mit dem Wohnen verbunden ist.
Für den konkreten Fall ist nach Ansicht des Verwaltungsgerichts kaum anzunehmen, dass der Bauherr einen Teil seines Unternehmens in das Wohnquartier verlagern wolle. Eine Einstellhalle für Wohnwagen bzw. Wohnmobile oder Oldtimer-Fahrzeuge diene jedoch nicht dem Wohnen im Quartier. Nach Anhang III KBV seien bei der Fläche des Einfamilienhauses von 324.9 m2 lediglich drei Parkplätze nötig. Die Einstellhalle sei für ein Einfamilienhaus viel zu gross. Aus § 147 PBG und § 42 KBV ergebe sich nur, aber immerhin, dass Parkplätze einer konkreten Baute oder Anlage zuzuordnen seien. Es gelte zu verhindern, dass in einer Wohnzone grosse Flächen oder Volumina geschaffen würden, die kaum je (wieder) der Wohnnutzung zugeführt oder zumindest dienstbar gemacht werden könnten. Die vom Bauherrn angegebenen (späteren) Verwendungszwecke für die Einstellhalle (ausser das Abstellen von Oldtimer-Fahrzeugen) seien wenig realistisch: Ein Kinderzimmer, Musikzimmer oder eine ganze Einliegerwohnung würden sich später in der Einstellhalle nur schwer realisieren lassen, dies schon wegen der erforderlichen Fensterflächen. Die geplante Zahl an Abstellplätzen sei im vorliegenden Fall für das Einfamilienhaus völlig übersetzt und damit nicht mehr zonenkonform.
2.4. Der Beschwerdeführer behauptet, die Einstellhalle könne bei einer späteren Nutzungsänderung im Untergeschoss zusätzlich ein Musikzimmer, Weinkeller, Oldtimer-Fahrzeuge und eventuell ein Boot aufnehmen. Insbesondere könnten auf den drei Parkplätzen Nebenräume entstehen (Keller, Wäscheraum, Fitnessraum, Hobbyraum). Soweit mit diesen Vorbringen eine Sachverhaltsrüge erhoben worden sein sollte, kann darauf nicht eingetreten werden. Die Rüge eines fehlerhaft festgestellten Sachverhalts bedarf einer qualifizierten Begründung (vgl. oben E. 1.3). Dafür reicht es nicht aus, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder eine eigene Beweiswürdigung zu erläutern (vgl. <ref-ruling> E. 2.2 mit Hinweisen). Unzulässig ist auch das Vorbringen neuer Tatsachen, soweit nicht der angefochtene Entscheid dazu Anlass gibt (<ref-law>). Die Vorinstanz hat sich mit einer späteren Nutzungsänderung der Einstellhalle befasst (vgl. oben E. 2.3). In der Beschwerdeschrift ans Bundesgericht wird nicht genügend begründet, inwiefern die diesbezüglichen Annahmen der Vorinstanz unzutreffend oder unvollständig oder weshalb andere Nutzungsänderungen betroffen sein sollen. Insgesamt ist es somit auf der Ebene des Sachverhalts nicht zu beanstanden, wenn die Vorinstanz für eine spätere Nutzung der Einstellhalle anstelle der Belegung mit Wohnwagen einzig eine solche mit Oldtimer-Fahrzeugen (neben jüngeren Personenwagen) der Beurteilung zugrunde gelegt hat.
3.
3.1. Die Begriffe "nicht störend", "mässig störend" und "stark störend" in Zonenbestimmungen dienen heute vorab der Zuweisung der Lärmempfindlichkeitsstufen gemäss Art. 43 der Lärmschutz-Verordnung vom 15. Dezember 1986 (LSV; SR 814.41). Verfolgt eine kantonale oder kommunale Zonenvorschrift indessen - zumindest auch - raum- und ortsplanerische Zwecke, wie namentlich die Erhaltung des Wohncharakters eines Quartiers, so kommt ihr selbstständige Bedeutung zu. Dies hat zur Folge, dass die Zonenkonformität unter Umständen unabhängig von der umweltrechtlichen Beurteilung eines Bauprojekts zu verneinen ist (vgl. <ref-ruling> E. 2d/cc; Urteil 1C_555/2018 vom 29. August 2019 E. 4.2 und 4.3 mit weiteren Hinweisen).
Die Auslegung kantonaler oder kommunaler Normen prüft das Bundesgericht, vorbehältlich schwerer Grundrechtseingriffe, nur unter dem Blickwinkel des Willkürverbots (<ref-ruling> E. 3.5 mit Hinweisen). Ein schwerer Eingriff in die Eigentumsgarantie (<ref-law>) ist nach der Rechtsprechung namentlich dann gegeben, wenn die künftig mögliche, bestimmungsgemässe Nutzung eines Grundstücks durch Verbote oder Gebote verunmöglicht oder stark erschwert wird (vgl. <ref-ruling> E. 4.1 mit Hinweisen).
3.2. Der Beschwerdeführer macht geltend, Wohnwagen bzw. Wohnmobile würden erfahrungsgemäss selten bewegt und nicht zu unzumutbaren Immissionen für die Nachbarschaft führen. Er rügt aber keine Verletzung von Bundesumweltrecht, sondern räumt ein, dass die Zonenkonformität in der Wohnzone bei einem Gewerbe grundsätzlich von einer funktionalen Betrachtungsweise abhänge. Dass die vorübergehende Vermietung von drei Abstellplätzen für Wohnmobile ein Gewerbe darstelle, bestreitet der Beschwerdeführer; dies habe die Vorinstanz zu Unrecht nicht geprüft. Die Wohnmobile und Oldtimer-Fahrzeuge in der Einstellhalle würden nur Freizeitbeschäftigungen und damit einen Teil des Wohnens betreffen. Wohnnutzungen seien in der Wohnzone stets zonenkonform.
3.3. Dass das angefochtene Urteil einen schweren Eingriff in die Eigentumsgarantie bildet, ist weder konkret geltend gemacht noch ersichtlich. Die vorinstanzliche Gesetzesauslegung ist daher lediglich unter dem Blickwinkel des Willkürverbots zu überprüfen (vgl. zum Begriff der Willkür in der Rechtsanwendung <ref-ruling> E. 7.3; <ref-ruling> E. 3.6.2; je mit Hinweisen). Die Vorinstanz hat die Zonenkonformität der Einstellhalle nicht nur für die allenfalls vermieteten Teilbereiche, sondern auch bei einem vollständigen Eigengebrauch verneint. Auf den gewerblichen Zweck einzelner Abstellplätze in der Einstellhalle kommt es deshalb entgegen dem Beschwerdeführer in diesem Zusammenhang nicht an.
3.4. Die Vorinstanz hat eingehend und nachvollziehbar begründet, dass gewisse Aktivitäten auch ohne gewerblichen Charakter in einer Wohnzone aufgrund des Konfliktpotenzials im Verhältnis zur Nachbarschaft unvereinbar mit der Vorgabe einer nicht störenden Nutzung sind. Es erscheint sachlich als vertretbar, diesen Grundsatz bei einer Tiefgarage als Teil einer Wohnbaute anzuwenden, wenn das ermöglichte Parkierungsangebot einen Umfang annimmt, der sich nicht mehr in einer grosszügig verstandenen Bandbreite der zonentypischen Wohnnutzung bewegt. Dem steht nicht entgegen, dass sich das Halten mehrerer Motorfahrzeuge nebeneinander auch für Freizeitzwecke dem Grundsatz nach unter Wohn (neben-) nutzungen einordnen lässt. Die Vorinstanz durfte folglich willkürfrei aus der Zonenvorschrift einen präventiven raumplanerischen Schutz gegen derartige Nebennutzungen bei einer Wohnbaute ableiten, der unabhängig von der umweltschutzrechtlichen Beurteilung der konkreten Immissionen greift.
3.5. Der Beschwerdeführer entgegnet, die Richtwerte für Abstellplätze gemäss § 147 PBG i.V.m. § 42 KBV gälten nach der kantonalen Praxis lediglich als Mindestwerte; eine Obergrenze werde damit nicht angegeben. Eine Reduktion der Parkplatzzahl sei nur im Rahmen einer Umweltverträglichkeitsprüfung oder durch besondere Vorschriften in kommunalen Reglementen oder in Nutzungsplänen zulässig (vgl. § 147 Abs. 3 und 4 PBG). Das sei vorliegend nicht der Fall. Die Vorinstanz habe eine Beschränkung der Abstellflächen für Motorfahrzeuge ohne gesetzliche Grundlage eingeführt. Auch die Vorschriften über die bauliche Ausnützung seien vorliegend eingehalten. Der von der Vorinstanz eingeschlagene Umweg über den funktionalen Zusammenhang sei konstruiert und willkürlich.
Diese Einwände lassen es jedoch nicht als unhaltbar erscheinen, dass die Vorinstanz der Zonenkonformität von Abstellplätzen als Teil einer Wohnnutzung die Tragweite einer eigenständigen Anforderung im Verhältnis zu anderen Vorschriften über Abstellplätze oder über die bauliche Ausnützung zugebilligt hat. Der Beschwerdeführer behauptet nicht, dass in der Wohnzone eine selbstständige Parkierungsanlage zulässig sein soll. Es ist somit vertretbar, eine solche in Wohnzonen nur in einem untergeordneten Rahmen des baulichen Hauptzwecks, d.h. als Nebennutzung zuzulassen. Entgegen dem Beschwerdeführer ist dem angefochtenen Urteil nicht zu entnehmen, dass die Vorinstanz den Richtwert für die Anzahl Abstellplätze gemäss § 42 i.V.m. Anhang III KBV einer Obergrenze gleichgesetzt hätte. Daran ändert die Wortwahl im angefochtenen Urteil, wonach nur die Anzahl gemäss Anhang III KBV nötig sei (vgl. oben E. 2.3), nichts. Vielmehr durfte die Vorinstanz sich ausgehend von diesem Richtwert willkürfrei vom Grundsatz leiten lassen, dass im Vergleich dazu weit umfangreichere Parkierungsanlagen bzw. Einstellhallen unter Umständen den untergeordneten Rahmen einer zulässigen Nebennutzung sprengen. Dafür durfte die Vorinstanz entsprechend eine Einzelfallprüfung anstellen.
3.6. Auch das Ergebnis der Rechtsanwendung im konkreten Fall hält der Beschwerdeführer für willkürlich. Der vorinstanzlichen Feststellung zu den Flächenangaben für Erd- und Attikageschoss bzw. für die Einstellhalle (vgl. oben E. 2.1) widerspricht er allerdings nicht. Auch auf die Angaben im Entscheid des BJD zu den Kategorien und Zahlen bei den geplanten Abstellflächen (vgl. oben E. 2.1) geht er nicht ein. Ebenso wenig stellt er in Abrede, dass der Richtwert gemäss Anhang III KBV für das betroffene Wohnhaus drei Abstellplätze beträgt. Damit weist die umstrittene Einstellhalle annähernd so viel Fläche auf wie das Erd- und Attikageschoss zusammen, und sie ermöglicht - zusammen mit dem Autounterstand - für das betroffene Einfamilienhaus ein Vielfaches an Abstellplätzen für Motorfahrzeuge im Vergleich zum massgebenden Richtwert. Soweit die Kritik in der Beschwerdeschrift an der Einzelfallprüfung der Vorinstanz den Anforderungen an eine rechtsgenügliche Beschwerdebegründung entspricht (vgl. oben E. 1.3), vermag sie der Vorinstanz nicht erfolgreich eine willkürliche Rechtsanwendung vorzuwerfen. Demzufolge durfte diese der Einstellhalle für einen entsprechend umfangreichen Fahrzeugpark (Personenwagen, Wohnwagen, Oldtimer-Fahrzeuge) in haltbarer Weise den Charakter einer noch zulässigen Nebennutzung zum Einfamilienhaus absprechen und die Zonenkonformität verneinen.
3.7. Insgesamt verletzt es nicht das vom Beschwerdeführer gerügte Bundesrecht, wenn die Vorinstanz das umstrittene Bauvorhaben wegen fehlender Zonenkonformität als nicht bewilligungsfähig qualifiziert hat. Bei diesem Ergebnis muss nicht mehr auf den weiteren Beschwerdepunkt eingegangen werden, der die Einhaltung der Vorschriften zur Gebäudehöhe betrifft.
4.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>). Dieser hat den anwaltlich vertretenen Beschwerdegegnern eine angemessene Parteientschädigung für das bundesgerichtliche Verfahren auszurichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegner für das bundesgerichtliche Verfahren mit insgesamt Fr. 4'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Bau- und Werkkommission Erlinsbach, dem Bau- und Justizdepartement des Kantons Solothurn und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 15. November 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Kessler Coendet