Sachverhalt:
A.
A.a. A. und B. C._ sind Eigentümer einer Liegenschaft an der Augustinergasse in Basel. Am 6. August 2013 reichten sie ein Baugesuch betreffend Umbau und Sanierung dieser Liegenschaft ein, welches am 29. Januar 2014 vom Bau- und Gastgewerbeinspektorat Basel (BGI) unter gewissen Auflagen und Vorbehalten gemäss einer Stellungnahme der kantonalen Denkmalpflege bewilligt wurde. Bei der Bauabnahme vom 25. Juni 2015 wurde unter anderem festgehalten, dass die auf der rheinseitigen Dachterrasse errichtete pergola-artige Konstruktion in den bewilligten Plänen nicht ersichtlich sei. Diese müsse in den Revisionsplänen eingezeichnet werden, welche noch einmal von den relevanten Instanzen begutachtet werden müssten. Nachdem die Eigentümer dieser Forderung nachgekommen waren, nahm das BGI mit Verfügung vom 16. Juni 2016 das genannte Objekt ab. Insbesondere werde die unbewilligt ausgeführte Pergola auf dem rheinseitigen Flachdach aus Gründen der Verhältnismässigkeit geduldet.
Am 19. Juni 2017 teilte der Heimatschutz Basel dem BGI mit, er sei von Dritten auf die pergola-artige Metallkonstruktion auf der vorgelagerten Terrasse an der Rheinfront aufmerksam gemacht worden und bat darum, die Baueingabepläne mit dem tatsächlich Gebauten zu vergleichen. Das BGI teilte dem Heimatschutz Basel mit Schreiben vom 29. Juni 2017 mit, dass die monierte Baute nach positiver Stellung nahme der kantonalen Denkmalpflege mit Verfügung vom 16. Juni 2016 freigegeben worden sei. Nach verschiedenen Interventionen des Heimatschutzes Basel hielt das BGI am 25. Oktober 2017 fest, dass das Verfahren aus seiner Sicht korrekt geführt und die pergola-artige Metallkonstruktion aus behördlicher Sicht geprüft und bewilligt worden sei.
B.
Den vom Heimatschutz Basel am 31. Oktober 2017 hiegegen bzw. gegen die Bauabnahme vom 16. Juni 2016 erhobenen Rekurs hiess die Baurekurskommission Basel mit Entscheid vom 28. März 2018 gut und setzte den Eigentümern eine Frist von sechs Monaten ab Rechtskraft des Entscheides für die Wiederherstellung des rechtmässigen Zustandes an.
C.
Auf Rekurs von A. und B. C._ hin hob das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht mit Urteil vom 17. September 2019 den Entscheid der Baurekurskommission vom 28. März 2018 mit der Begründung auf, diese Kommission hätte - da verspätet erhoben - auf den Rekurs nicht eintreten dürfen.
D.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt der Heimatschutz Basel, es sei der kantonale Gerichtsentscheid aufzuheben.
Während A. und B. C._ auf Abweisung der Beschwerde, soweit auf sie eingetreten werden kann, schliessen, verzichtet das BGI auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Gegen den kantonal letztinstanzlichen Endentscheid des Verwaltungsgerichts, der eine Bausache und damit eine öffentlich-rechtliche Angelegenheit betrifft, steht grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen (<ref-law>).
1.2. Der Heimatschutz Basel kann sich als kantonal (und nicht gesamtschweizerisch) tätige Heimatschutzorganisation nicht auf das Verbandsbeschwerderecht nach <ref-law> i.V.m. Art. 12 Abs. 1 lit. b des Bundesgesetzes vom 1. Juli 1966 über den Natur- und Heimatschutz (NHG; SR 451) berufen. Dagegen ist er nach dem alllgemeinen Beschwerderecht nach <ref-law> zur Beschwerde legitimiert, soweit er eine Verletzung seiner Parteirechte im vorinstanzlichen Verfahren rügt (vgl. Urteile 1C_593/2015 vom 25. Mai 2016 E. 1; 1C_195/2011 vom 27. Juli 2011 E. 1.2; 1C_367/2009 vom 27. Oktober 2009 E. 3; 1C_374/2010 vom 21. Dezember 2010 E. 1). Allerdings kann er auf diesem Weg keine (indirekte) Überprüfung des Entscheids in der Hauptsache erlangen, insbesondere ist er nicht befugt, die Begründung des Verwaltungsgerichts als unvollständig, zu wenig differenziert oder materiell unzutreffend zu rügen (vgl. <ref-ruling> E. 3c S. 313; <ref-ruling> E. 1.4 S. 222 mit Hinweisen; zur Weiterführung dieser so genannten "Star-Praxis" unter der Herrschaft des Bundesgerichtsgesetzes vgl. <ref-ruling> E. 3.2 S. 436 f.).
1.3. Einzutreten ist daher nur auf die formellen Rügen, namentlich der Verletzung des Verbots der formellen Rechtsverweigerung (<ref-law>) und der Rechtsweggarantie (<ref-law>), soweit diese unabhängig vom Entscheid in der Sache beurteilt werden können. Nicht einzutreten ist demgegenüber auf materielle Rügen. Nicht näher geprüft zu werden braucht die Frage, ob dies auch insoweit gilt, als der Beschwerdeführer die Nichtigkeit der Bauabnahme-Verfügung vom 16. Juni 2016 behauptet; eine Nichtigkeit einer Verfügung aus inhaltlichen Gründen kommt nur in seltenen Ausnahmefällen bei ausserordentlich schweren Mängeln in Frage (<ref-ruling> E. 3.1 S. 275; vgl. auch Urteil 1C_25/2019 vom 5. März 2020 E. 6.3); solche liegen bezüglich der streitigen Bauabnahme offensichtlich nicht vor.
2.
2.1. Die Beschwerdeschrift hat unter anderem ein Rechtsbegehren zu enthalten (<ref-law>). Da die Beschwerde an das Bundesgericht ein reformatorisches Rechtsmittel ist (<ref-law>), darf sich diese grundsätzlich nicht darauf beschränken, die Aufhebung bzw. Rückweisung des angefochtenen Entscheids zu beantragen.Grundsätzlich ist ein materieller Antrag erforderlich, damit die Beschwerde zulässig ist, ausser wenn das Bundesgericht ohnehin nicht reformatorisch entscheiden könnte (<ref-ruling> E. 1.3 S. 317; <ref-ruling> E. 1.2 S. 135; <ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1 S. 489 f.: siehe allerdings auch <ref-ruling> E. 1.4.1 S. 414 f.).
Im vorliegenden Fall ist die Vorinstanz allerdings zum Schluss gekommen, die Baurekurskommission sei zu Unrecht auf den Rekurs des Beschwerdeführers eingetreten und hob den entsprechenden Entscheid auf. Da das Bundesgericht bei dieser Ausgangslage nicht materiell entscheiden könnte, hat der Beschwerdeführer vor Bundes gericht korrekterweise ein rein kassatorisches Begehren gestellt.
2.2. Das Bundesgericht wendet das (Bundes-) Recht von Amtes wegen (<ref-law>; <ref-ruling> E. 2.3 S. 23 f.) und mit uneingeschränkter (voller) Kognition an (<ref-law>; <ref-ruling> E. 2 S. 236). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
2.3. Im Unterschied dazu prüft das Bundesgericht die Verletzung von Grundrechten nur insoweit, als eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist (<ref-law>; qualifizierte Rüge- und Begründungsobliegenheit; <ref-ruling> E. 1.2.2 S. 286). In der Beschwerde ist daher klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, dass und inwiefern verfassungsmässige Individualrechte verletzt worden sein sollen (<ref-ruling> E. 1.4 S. 5).
2.4. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen).
3.
Zu prüfen ist im vorliegenden Verfahren, ob das kantonale Gericht das Verbot der formellen Rechtsverweigerung (<ref-law>) oder die Rechtsweggarantie (<ref-law>) verletzt hat, als es den Entscheid der Baurekurskommission aufgehoben hat, weil diese auf den Rekurs des Beschwerdeführers nicht hätte eintreten dürfen.
4.
4.1. Jede Person hat in Verfahren vor Gerichts- und Verwaltungsinstanzen Anspruch auf gleiche und gerechte Behandlung, auf Beurteilung innert angemessener Frist sowie auf rechtliches Gehör (Art. 29 Abs. 1 und 2 BV). Eine Gehörsverletzung im Sinne einer formellen Rechtsverweigerung liegt nach der Praxis des Bundesgerichts vor, wenn eine Behörde auf eine ihr frist- und formgerecht unterbreitete Sache nicht eintritt, obschon sie darüber entscheiden müsste (<ref-ruling> E. 2.3 S. 232). Ebenfalls eine formelle Rechtsverweigerung liegt vor, wenn eine obere kantonale Instanz einen Entscheid einer unteren Instanz zu Unrecht mit der Begründung aufhebt, die untere Instanz hätte nicht auf die ihr unterbreitete Sache eintreten dürfen. Stützt sich der vom kantonale Gericht angerufene Nichteintretensgrund auf kantonales Recht, so überprüft das Bundesgericht diesen jedoch nur auf Willkür hin (<ref-ruling> E. 5 S. 159; vgl. auch Urteil 2C_351/2017 vom 12. April 2018 E. 3.2).
4.2. Letztinstanzlich unbestritten ist, dass das BGI das streitige Objekt entgegen der Verfügung vom 16. Juni 2016 nicht hätte abnehmen dürfen, ohne zunächst das geänderte bzw. ergänzte Baubegehren zu publizieren. Das kantonale Gericht hat weiter erwogen, eine mangelhafte Publikation eines Baugesuchs bzw. eine mangelhafte Eröffnung des entsprechenden Baubewilligungsentscheides führe nicht zur Nichtigkeit der entsprechenden Verfügung, sondern dazu, dass die Rechtsmittelfrist für rechtsmittelberechtigte Dritte erst zu laufen beginnt, wenn die betroffene Person im Besitz aller für die erfolgreiche Wahrung ihrer Rechte wesentlichen Elemente sei. Aus Gründen der Rechtssicherheit und nach dem Grundsatz von Treu und Glauben dürfe der Dritte aber die Kenntnisnahme und damit den Beginn des Fristenlaufes nicht beliebig hinauszögern, sondern müsse, sobald er Indizien für einen behördlichen Entscheid habe, aktiv darum besorgt sein, das Dispositiv und die Begründung des Entscheides zu erfahren. Der Beschwerdeführer habe spätestens seit März 2017 Kenntnis der von den ursprünglichen Bauplänen abweichenden Konstruktion gehabt, jedoch erst am 19. Juni 2017 beim BGI interveniert. Unter Berücksichtigung der sich im konkreten Fall widerstreitenden öffentlichen und privaten Interessen erscheine diese Intervention als verspätet, so dass die Baurekurskommission nicht auf den Rekurs des Beschwerdeführers hätte eintreten dürfen.
4.3. Was der Beschwerdeführer gegen diese vorinstanzlichen Erwägungen vorbringt, vermag sie nicht als bundesrechtswidrig erscheinen zu lassen.
4.3.1. Zunächst hat das kantonale Gericht umfassend und nachvollziehbar dargelegt, weshalb die Beschwerdegegner gestützt auf das kantonale Verfahrensrecht berechtigt waren, den Einwand der verspäteten Rekurserhebung erst im Verfahren vor kantonalem Verwaltungsgericht zu erheben. Inwiefern diese Auslegung des kantonalen Verfahrensrechts willkürlich sein sollte (vgl. E. 4.1 hievor), wird vom Beschwerdeführer nicht dargelegt. Entgegen den Vorbringen in der Beschwerde ist ein offenbarer Rechtsmissbrauch im Sinne von <ref-law> durch die Beschwerdegegner nicht ersichtlich, zumal diese spätestens seit der Bauabnahme vom 16. Juni 2016 nicht mehr als bösgläubig gelten können.
4.3.2. Unerheblich ist im Weiteren, ob die Beschwerdeführer ihren Rekurs vor Baurekurskommission innert 30 Tagen nach Erhalt des als Verfügung bezeichneten Schreibens des BGI vom 25. Oktober 2017 erhoben haben. Da nämlich das BGI gegenüber den Beschwerdegegnern bereits am 16. Juni 2016 die Duldung der streitigen Konstruktion bestätigt hatte, war vor Baurekurskommission die Rechtsmässigkeit dieser Bauabnahme streitig; dem Schreiben vom 25. Oktober 2017 kam jedenfalls bezüglich des Fristenlaufs keine eigenständige Bedeutung zu.
Nach der bundesgerichtlichen Praxis beginnt für zu Unrecht nicht ins Verfahren einbezogene Dritte die Anfechtungsfrist erst mit der tatsächlichen Kenntnisnahme des Entscheids zu laufen. Diese haben aus Gründen der Rechtssicherheit und nach dem Grundsatz von Treu und Glauben dafür besorgt zu sein, innert vernünftiger Frist das Dispositiv und die Begründung des Entscheids zu erfahren, um sich über die Ergreifung eines Rechtsmittels zu entschliessen (Ur teile 1C_256/2017 vom 11. Januar 2018 E. 2.1; 2C_657/2014 12. November 2014 E. 2.4.2). In der Lehre ist - für das Bundesverwaltungsrecht - vorgeschlagen worden, den Dritten ab vager Kenntnisnahme zunächst 30 Tage zuzubilligen, um sich Klarheit über die Rechtslage zu verschaffen und ab diesem Zeitpunkt die Beschwerdefrist beginnen zu lassen (Lorenz Kneubühler/Ramona Pedretti in: Kommentar VwVG, 2019, Art. 38 N. 10; in diesem Sinne auch Urteil 1C_15/2016 vom 1. September 2016 E. 2.3). Vorliegend hat der Beschwerdeführer bereits im Januar 2017 erstmals Kenntnis von der Pergola erhalten, aber erst im Juni 2017 mit dem BGI Kontakt aufgenommen und in der Folge erst am 28. August 2017 den Erlass einer Verfügung verlangt. Wenn die Vorinstanz zum Ergebnis gelangt ist, der Beschwerdeführer habe durch das mehrmonatige Zuwarten seinen Anspruch auf nachträglichen Einbezug ins Verfahren verwirkt, liegt darin nach dem Gesagten weder eine formelle Rechtsverweigerung noch ein Verstoss gegen die Rechtsweggarantie.
4.3.3. Nicht als bundesrechtswidrig erscheint sodann die vorinstanzliche Interessenabwägung. Insbesondere hat das kantonale Gericht zu Recht lediglich das Interesse der Beschwerdegegner an der Rechtssicherheit in die Abwägung miteinbezogen, und nicht etwa jenes auf Sonnenschutz, womit sich die Frage, wie viel Zeit sie im streitigen Objekt verbringen, entgegen den Ausführungen des Beschwerdeführers nicht stellt. Weiter ist es dem kantonalen Gericht nicht entgangen, dass die streitige Konstruktion ohne gültige Baubewilligung und in diesem Sinne bösgläubig errichtet wurde. Dies ändert aber nichts daran, dass die Beschwerdegegner sich spätestens seit der Bauabnahme vom 16. Juni 2016 darauf verlassen durften, die streitige Baute sei nunmehr legalisiert (vgl. auch E. 4.3.1 hievor). Weiter legt der Beschwerdeführer nicht dar, inwiefern der Duldung der streitigen Konstruktion entgegen den vorinstanzlichen Erwägungen präjudiziellen Charakter zukommen sollte; daran vermag auch sein Hinweis auf das grundsätzlich hochrangige öffentliche Interesse am gesetzmässigen Denkmalschutz nichts zu ändern.
4.4. Ist demnach nicht zu beanstanden, dass das kantonale Gericht den Rekurs als verspätet qualifiziert hat, so hat es keine Rechtsverweigerung und damit keinen Verstoss gegen das Verbot der formellen Rechtsverweigerung (<ref-law>) oder gegen die Rechtsweggarantie (<ref-law>) begangen, als es den Entscheid der Baurekurskommission vom 28. März 2018 aufgehoben hat. Entsprechend ist die Beschwerde abzuweisen.
5.
Das Verfahren ist kostenpflichtig (<ref-law>). Als unterliegende Partei hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>) und den Beschwerdegegnern überdies eine Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2000.- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat die Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2500.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Bau- und Gewerbeinspektorat und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht Dreiergericht schriftlich mitgeteilt.
Lausanne, 4. Mai 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Nabold