Sachverhalt:
A.
A.a. Das Amtsgericht Solothurn-Lebern verurteilte A._ am 25. März 2021 wegen mehrfacher Vergewaltigung, mehrfacher sexueller Nötigung, mehrfacher sexueller Handlungen mit Kindern, mehrfacher Freiheitsberaubung sowie weiterer Delikte zu einer Freiheitsstrafe von vier Jahren und zehn Monaten, einer Geldstrafe von 170 Tagessätzen zu je Fr. 30.-- sowie einer Busse. Gleichzeitig wurde eine stationäre therapeutische Behandlung angeordnet. A._ erhob gegen das Urteil Berufung.
Mit separatem Beschluss vom 27. März 2021 ordnete das Amtsgericht gegenüber A._ die Verlängerung der Sicherheitshaft um sechs Monate an. Diesen Beschluss focht A._ beim Obergericht des Kantons Solothurn an. Dieses wies das Rechtsmittel mit Beschluss vom 21. Mai 2021 ab. Eine hiergegen erhobene Beschwerde in Strafsachen wurde vom Bundesgericht mit Urteil 1B_361/2021 vom 16. Juli 2021 abgewiesen.
A.b. Mit instruktionsrichterlicher Verfügung vom 3. September 2021 verlängerte das Obergericht die Sicherheitshaft ab dem 25. September 2021 bis zum 24. Dezember 2021, dem für die mündliche Urteilseröffnung im Berufungsverfahren vorgesehenen Datum.
B.
Mit Beschwerde in Strafsachen vom 27. September 2021 fordert A._ beim Bundesgericht die sofortige Haftentlassung.
Das Obergericht beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Staatsanwaltschaft hat auf eine Stellungnahme verzichtet.
Mit Eingabe vom 13. Oktober 2021 hält A._ an seiner Beschwerde fest. Zudem übermittelte er dem Bundesgericht verschiedene Unterlagen.

Erwägungen:
1.
Der angefochtene Entscheid betrifft die Verlängerung der Sicherheitshaft (<ref-law>). Dagegen ist die Beschwerde in Strafsachen nach <ref-law> gegeben. Der Beschwerdeführer nahm vor der Vorinstanz am Verfahren teil und befindet sich nach wie vor in Haft. Er ist deshalb nach <ref-law> zur Beschwerde berechtigt.
Der Beschwerdeführer beschränkt sich in seiner Beschwerde über weite Strecken darauf, seinen Standpunkt darzulegen, ohne sich mit der Begründung des angefochtenen Entscheids auseinanderzusetzen. Es kann hier offen bleiben, ob die Beschwerde damit als unzureichend begründet zu qualifizieren (vgl. <ref-law>) und infolgedessen darauf nicht einzutreten wäre. Wie im Folgenden ersichtlich wird, ist das Rechtsmittel bei materieller Beurteilung ohnehin abzuweisen.
2.
Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Sachverhaltsfeststellung der Vorinstanz kann von Amtes wegen oder auf Rüge hin berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig (d.h. willkürlich im Sinne von <ref-law>) ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; vgl. <ref-ruling> E. 4.1.2). Ein entsprechendes Vorbringen unterliegt der qualifizierten Rügepflicht (Art. 97 Abs. 1 i.V.m. <ref-law>; <ref-ruling> E. 4.1). Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>), was in der Beschwerde näher darzulegen ist. Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden (echte Noven), ist vor Bundesgericht unzulässig (<ref-ruling> E. 1.1 mit Hinweisen).
Die Beilagen zur Eingabe des Beschwerdeführers vom 13. Oktober 2021 sind nach dem Erlass der angefochtenen Verfügung vom 3. September 2021 entstanden. Sie sind deshalb im Folgenden als echte Noven nicht zu berücksichtigen.
3.
Nach <ref-law> sind Untersuchungs- und Sicherheitshaft unter anderem zulässig, wenn die beschuldigte Person eines Verbrechens oder Vergehens dringend verdächtig ist und ernsthaft zu befürchten ist, dass sie sich durch Flucht dem Strafverfahren oder der zu erwartenden Sanktion entzieht (Abs. 1 lit. a). An ihrer Stelle sind Ersatzmassnahmen anzuordnen, wenn sie den gleichen Zweck wie die Haft erfüllen (Art. 212 Abs. 2 lit. c und Art. 237 ff. StPO).
4.
Nach ständiger bundesgerichtlicher Rechtsprechung gilt der dringende Tatverdacht bei einer erstinstanzlichen Verurteilung grundsätzlich ohne Weiteres als erstellt und kann nicht mit einer pauschalen Kritik in Zweifel gezogen werden (Urteil 1B_316/2019 vom 12. Juli 2019 E. 3 mit Hinweis).
Der Beschwerdeführer bestreitet vorliegend - anders als noch im bundesgerichtlichen Verfahren 1B_361/2021 - den dringenden Tatverdacht. Indessen macht er in diesem Punkt einzig geltend, der Vorwurf der mehrfachen Vergewaltigung könne nicht stichhaltig sein, weil er an einer erektilen Dysfunktion leide. Damit stösst er aber ins Leere. Das Amtsgericht ist in der Begründung seines Urteils vom 25. März 2021 ausführlich auf die Frage eingegangen, ob die vom Beschwerdeführer geltend gemachte Erektionsstörung als erstellt gelten kann. Es kam dabei zum Schluss, dass es für eine erektile Dysfunktion keine objektivierbaren Befunde gebe. Zudem verwies es darauf, dass in den Akten diverse Bilder mit dem erigierten Penis des Beschwerdeführers zu finden seien (E. I./1.3.4 des Urteils). Mit diesen Ausführungen des Amtsgerichts setzt sich der Beschwerdeführer bezeichnenderweise nicht auseinander. Der Vorwurf der mehrfachen Vergewaltigung wird auch nicht durch den namentlich in der Eingabe des Beschwerdeführers vom 13. Oktober 2021 behaupteten Umstand entkräftet, dass das mutmassliche Opfer im Sexgewerbe tätig gewesen sein soll.
Der Beschwerdeführer wurde in erster Instanz (unter anderem) wegen verschiedener Verbrechen verurteilt (mehrfache Vergewaltigung i.S.v. <ref-law>, mehrfache sexuelle Nötigung i.S.v. <ref-law>, mehrfache sexuelle Handlungen mit Kindern i.S.v. <ref-law> und mehrfache Freiheitsberaubung i.S.v. <ref-law>; vgl. <ref-law>). Weil er nach dem Gesagten nur teilweise und bloss in pauschaler Weise Kritik an dieser Verurteilung übt, ist ohne Weiteres von einem dringenden Tatverdacht auszugehen.
5.
Mit der Frage der Fluchtgefahr des Beschwerdeführers hat sich das Bundesgericht bereits im Urteil 1B_361/2021 vom 16. Juli 2021 eingehend befasst. Darauf kann grundsätzlich verwiesen werden (a.a.O., E. 4). Es bestehen nämlich keine Anhaltspunkte dafür, dass sich die Sachlage in der etwa dreimonatigen und damit kurzen Zeit seit Ergehen dieses Entscheids massgeblich geändert hätte. Nicht entscheidend ins Gewicht fällt der Umstand, dass der Beschwerdeführer seit damals eine rund drei Monate längere Gesamtdauer der bereits erstandenen Haft vorweisen kann. Denn es droht ihm mit Blick auf die erstinstanzliche Verurteilung zu einer Freiheitsstrafe von vier Jahren sowie zehn Monaten eine empfindliche Strafe, welche die Dauer der erstandenen Haft auch jetzt noch deutlich übersteigt und einen erheblichen Fluchtanreiz zu setzen vermag.
Wie das Bundesgericht schon im Zusammenhang mit der Verlängerung der Sicherheitshaft vom 27. März 2021 ausgeführt hat, können ferner die vom Beschwerdeführer geltend gemachten familiären Bindungen die Fluchtgefahr nicht ausschliessen. Zwar wird in der Beschwerde nunmehr behauptet, er und seine Söhne würden sich mögen. Auch macht er sinngemäss geltend, die Söhne seien auf ihn angewiesen. Da er aber gemäss dem erwähnten Urteil hinsichtlich seiner Kinder mit einem Kontaktverbot belegt ist, ist nach wie vor von einer Entfremdung zwischen dem Vater und den Söhnen auszugehen. Daran nichts ändern kann der Umstand, dass der Beschwerdeführer den Willen bekundet, seinen Kindern ein Studium in X._ zu ermöglichen.
Ausserfamiliäre Bindungen des Beschwerdeführers zu Personen in der Schweiz sind sodann, wie bereits im Verfahren 1B_361/2021, nicht substantiiert geltend gemacht. Hingegen verfügt er gemäss der angefochtenen Verfügung über einen starken familiären Bezug zur Türkei (vgl. dazu auch Urteil 1B_361/2021 vom 16. Juli 2021 E. 4.3). Was er gegen diese vorinstanzliche Sachverhaltsfeststellung vorbringt, genügt der qualifizierten Rügepflicht im Sinne von Art. 97 Abs. 1 i.V.m. <ref-law> nicht (vgl. vorne E. 2).
Der Beschwerdeführer macht ferner zum wiederholten Male geltend, er würde bei einer Flucht den Verlust seiner AHV-Rente riskieren. Im genannten Urteil wurde einlässlich dargelegt, dass dieses Vorbringen unbehelflich ist. Neu trägt er zwar auch vor, er könne seiner langjährigen Tätigkeit als Finanzplaner, Vorsorgeberater sowie Vermittler von "..." aus verschiedenen Gründen einzig in der Schweiz, nicht aber in der Türkei nachgehen. Zudem macht er geltend, er habe keine Firmengründungen in der Türkei vorbereitet. Mit den entsprechenden, nicht näher substantiierten Ausführungen vermag er aber die Feststellungen im genannten bundesgerichtlichen Urteil zu seiner beruflichen Situation nicht in Frage zu stellen. Gemäss diesen Feststellungen, auf welche die Vorinstanz im angefochtenen Entscheid verweist, hat er Vorbereitungen für eine Geschäftstätigkeit in der Türkei getroffen und dürfte er infolge seines Rentenalters kein Interesse mehr daran haben, in der Schweiz wieder arbeiten zu können.
Der Beschwerdeführer erklärt erstmals vor dem Bundesgericht, er verfüge über keinen Reisepass. Da er dabei nicht ausführt, weshalb erst die angefochtene Verfügung dazu Anlass gegeben haben soll, sich auf diesen Umstand zu berufen, ist darauf nicht weiter einzugehen (vgl. vorne E. 2).
6.
Eine Ersatzmassnahme kommt gemäss dem Urteil 1B_361/2021 vom 16. Juli 2021 beim Beschwerdeführer nicht in Betracht (a.a.O., E. 5.3 Abs. 1). Auch an dieser Würdigung ist festzuhalten, bringt er doch nichts vor, was die entsprechende, vor rund drei Monaten vorgenommene Beurteilung in Frage stellen würde.
7.
Gemäss <ref-law> und Art. 5 Ziff. 3 EMRK hat eine in strafprozessualer Haft gehaltene Person Anspruch darauf, innerhalb einer angemessenen Frist richterlich abgeurteilt oder während des Strafverfahrens aus der Haft entlassen zu werden. Eine übermässige Haftdauer stellt eine unverhältnismässige Beschränkung dieses Grundrechts dar. Nach <ref-law> dürfen deshalb Untersuchungs- und Sicherheitshaft nicht länger dauern als die zu erwartende Freiheitsstrafe (vgl. im Einzelnen <ref-ruling> E. 3.1 mit Hinweisen).
Dem Beschwerdeführer droht bei einer erstinstanzlich ausgesprochenen Freiheitsstrafe von vier Jahren und zehn Monaten zurzeit keine Überhaft, auch wenn er mittlerweile eine Haftdauer von schon rund 30 Monaten ausgestanden hat (vgl. <ref-law>). Die Verlängerung der Sicherheitshaft erscheint auch mit Blick darauf, dass am 24. Dezember 2021 das Urteil im Berufungsverfahren mündlich eröffnet werden soll, als verhältnismässig.
8.
Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig. Seiner finanziellen Lage ist durch reduzierte Gerichtskosten Rechnung zu tragen (<ref-law>; vgl. Urteil 1B_316/2019 vom 12. Juli 2019 E. 7).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft des Kantons Solothurn und dem Obergericht des Kantons Solothurn, Strafkammer, schriftlich mitgeteilt.
Lausanne, 20. Oktober 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: König