Erwägungen:
1.
1.1. Der Kanton Solothurn als Bauherr plant die Errichtung einer Seilbrücke von 50 m Länge und 2.2 m Breite auf der nationalen Wanderroute Höhenweg Nr. 5 im Bereich "Gschliff" des Balmbergs, nachdem der bisherige Weg wegen Steinschlags gesperrt werden musste. Die Brücke soll sich vom Grundstück Nr. 4 im Grundbuch Balm bei Günsberg im Eigentum einer Alpgenossenschaft bis zum Grundstück Nr. 2 im Grundbuch Günsberg im Eigentum einer Privatperson erstrecken. Am 30. April 2021 erteilte das Finanzdepartement (anstelle des bauführenden Bau- und Justizdepartements) des Kantons Solothurn die notwendige Zustimmung für das Bauen ausserhalb der Bauzone und erteilte die für das Projekt erforderliche Ausnahmebewilligung zur nachteiligen Waldnutzung. Dabei trat es auf eine Einsprache von A._ nicht ein. Am 19. Mai 2021 gewährte die Baukommission der Gemeinde Balm bei Günsberg die Baubewilligung unter Auflagen und Bedingungen, wobei auf eine Einsprache von A._ wegen mangelnder Legitimation erneut nicht eingetreten wurde. Dagegen erhob dieser Beschwerde an das Bau- und Justizdepartement des Kantons Solothurn, welche das Rechtsmittel als Sprungbeschwerde an das Verwaltungsgericht des Kantons Solothurn überwies. Mit Urteil vom 11. August 2021 wies das Verwaltungsgericht die Beschwerde ab.
1.2. Dagegen führt A._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das Urteil des Verwaltungsgerichts aufzuheben und die Seilhängebrücke nicht zu bewilligen; eventuell sei die Sache zu ergänzender Sachverhaltsfeststellung und Neubeurteilung an das Verwaltungsgericht zurückzuweisen.
Das Bau- und Justizdepartement, das Finanzdepartement sowie das Volkswirtschaftsdepartement des Kantons Solothurn schliessen auf Abweisung der Beschwerde. Das Verwaltungsgericht beantragt deren Abweisung, soweit darauf einzutreten sei. Die am vorinstanzlichen Verfahren beteiligte Alpgenossenschaft und die Gemeinde Balm bei Günsberg reichten keine Stellungnahme ein. A._ äusserte sich am 10. Dezember 2021 nochmals zur Sache.
2.
2.1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einem Baustreit, gegen den die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht gemäss Art. 82 ff. BGG offensteht. Streitgegenstand bildet einzig die Frage, ob das Verwaltungsgericht den Entscheid der Gemeinde, dem Beschwerdeführer die Einsprachelegitimation abzusprechen, zu Recht geschützt hat. Insbesondere nicht Prozessobjekt ist die materielle Rechtmässigkeit des Bauprojekts. Der Beschwerdeführer äussert sich in seiner Beschwerdeschrift praktisch auschliesslich zu dieser Sachfrage. Damit verlässt er den Streitgegenstand, weshalb insoweit von vorneherein auf die Beschwerde nicht eingetreten werden kann. Hingegen ist die Beschwerde grundsätzlich zulässig und der Beschwerdeführer zur Beschwerdeerhebung nach Art. 89 Abs. 1 BGG legitimiert, soweit er (zumindest sinngemäss) geltend macht, das Verwaltungsgericht habe verkannt, dass auf seine Einsprache einzutreten gewesen wäre.
2.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht unter Einschluss des Bundesverfassungsrechts gerügt werden (Art. 95 lit. a BGG). Soweit die Vorinstanz kantonales Recht anzuwenden hatte, kann im Wesentlichen geltend gemacht werden, der angefochtene Entscheid verstosse gegen Bundesrecht bzw. gegen die verfassungsmässigen Rechte und Grundsätze. Das Bundesgericht prüft kantonales Recht somit nur auf Bundesrechtsverletzung, namentlich Willkür, hin.
2.3. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dabei prüft es nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 2; <ref-ruling> E. 1.4.1). Für die behauptete Verletzung von Grundrechten unter Einschluss des Willkürverbots gilt eine qualifizierte Rüge- und Substanziierungspflicht (Art. 106 Abs. 2 BGG). Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde vorgebracht und begründet worden sind (<ref-ruling> E. 2.5).
2.4. In seiner Beschwerdeschrift befasst sich der Beschwerdeführer nur marginal mit der Frage, inwiefern es Bundesrecht verletzen sollte, ihm die Einsprachelegitimation abzusprechen. Wie dargelegt, bringt er praktisch ausschliesslich unzulässige Argumente im Zusammenhang mit der im vorliegenden Verfahrensstadium nicht massgeblichen materiellen Rechtslage vor. Er macht einzig geltend, als "Bürger/ Einwohner" des Kantons Solothurn sei er "auch mit weiterer Wohndistanz zum Objekt besonders betroffen". Dieses Argument bringt er allerdings vor, um seine Beschwerdeberechtigung vor dem Bundesgericht nach Art. 89 BGG zu belegen. Ob das mit Blick auf diese bundesrechtliche Bestimmung auch als ausreichende Rüge für die strittige Frage der Einsprachelegitimation zu anerkennen ist, kann offenbleiben. Keine rechtsgenügliche Rüge erhebt der Beschwerdeführer jedenfalls insofern, als das Verwaltungsgericht kantonales Verfahrensrecht angewandt hat.
2.5. Der Beschwerdeführer wohnt 11 km vom Ort der geplanten Seilbrücke entfernt in einem anderen als dem Bezirk des Kantons Solothurn, in dem die Brücke erstellt werden soll. Damit ist er vom Bauprojekt offensichtlich nicht mehr betroffen als jeder andere Einwohner oder allenfalls Bürger des Kantons auch. Eine Popularbeschwerde sieht das einschlägige Recht nicht vor. Dem Beschwerdeführer die Einsprachelegitimation abzusprechen, entspricht vollumfänglich der bundesgerichtlichen Rechtsprechung zur Einsprache- und Beschwerdeberechtigung in Baustreitigkeiten. Die entsprechende Begründung des angefochtenen Entscheids, auf die ergänzend verwiesen werden kann (vgl. Art. 109 Abs. 3 BGG), ist nicht zu beanstanden. Das Urteil des Verwaltungsgerichts verstösst demnach nicht gegen Bundesrecht.
3.
Die Beschwerde erweist sich als unbegründet und ist im Verfahren nach Art. 109 BGG abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG). Eine Parteientschädigung ist nicht zuzusprechen (vgl. Art. 68 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, der Baukommission der Gemeinde Balm bei Günsberg, dem Finanzdepartement des Kantons Solothurn, dem Bau- und Justizdepartement des Kantons Solothurn, dem Volkswirtschaftsdepartement und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 4. März 2022
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Uebersax