Sachverhalt:
A. B._ (Jg. 1965) wurde am 8. September 2005 als Radfahrer von einem Personenwagen angefahren. Im Kantonsspital X._ diagnostizierten die Ärzte eine Commotio cerebri, eine Distorsion der Halswirbelsäule bei bekannten chronischen Rückenschmerzen, eine Kontusion der rechten Hüfte und des rechten Knies sowie eine Depression. Frakturen oder Luxationen konnten klinisch und radiologisch ausgeschlossen werden. Einen Tag nach seinem Unfall wurde B._ nach komplikationslos verlaufener neurologischer und kardiopulmonaler Überwachung aus dem Spital entlassen, wobei ihm die Ärzte für die Zeit bis 13. September 2005 eine vollständige Arbeitsunfähigkeit attestierten.
Die Schweizerische Unfallversicherungsanstalt (SUVA) kam für die Heilbehandlung auf und richtete Taggelder aus. Mit Verfügung vom 10. Mai 2006 stellte sie ihre Leistungen auf den 15. Mai 2006 ein, weil keine organisch nachweisbaren Befunde vorlägen und überdies zwischen versichertem Unfallereignis und noch geklagten Beschwerden auch kein adäquater Kausalzusammenhang bestehe. Daran hielt sie mit Einspracheentscheid vom 2. August 2006 fest.
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 11. April 2007 ab.
C. B._ lässt Beschwerde führen und beantragen, es seien ihm "die versicherten Leistungen auszurichten"; eventuell sei die Sache zur weiteren Abklärung und Neuverfügung an die Vorinstanz oder an die SUVA zurückzuweisen.
Während das kantonale Gericht und die SUVA auf Beschwerdeabweisung schliessen, verzichtet das Bundesamt für Gesundheit auf eine Vernehmlassung.
D. In <ref-ruling> hat das Bundesgericht seine Praxis zur Kausalitätsprüfung bei Unfällen mit Schleudertrauma, äquivalenter Verletzung der Halswirbelsäule oder Schädel-Hirntrauma ohne organisch objektiv ausgewiesene Beschwerden (so genannte Schleudertrauma-Praxis) präzisiert (Urteil U 394/06 vom 19. Februar 2008). Den Parteien wurde am 12. März 2008 Gelegenheit gegeben, sich zu dieser Präzisierung und allfälligen Auswirkungen derselben auf ihre bisher eingenommenen Standpunkte zu äussern. Davon haben die SUVA am 7. und B._ am 10. April 2008 Gebrauch gemacht.

Erwägungen:
1. Streitig und zu prüfen ist der Anspruch auf Leistungen der obligatorischen Unfallversicherung aus dem Unfall vom 8. September 2005 über den 15. Mai 2006 hinaus.
2. 2.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 und 96 BGG erhoben werden. Im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder der Unfallversicherung ist das Bundesgericht - anders als in den übrigen Sozialversicherungsbereichen (<ref-law>) - nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG).
2.2 Die als Rechtsgrundlage für die einzelnen Leistungsarten der Unfallversicherung massgebenden Gesetzesbestimmungen (Art. 6 Abs. 1, Art. 10 Abs. 1, Art. 16 Abs. 1, Art. 18 Abs. 1 und Art. 24 Abs. 1 UVG; vgl. dazu auch Art. 6, 7, 8 Abs. 1 und <ref-law>) hat das kantonale Gericht im angefochtenen Entscheid vom 11. April 2007 korrekt aufgezeigt. Zutreffend umschrieben hat es auch den für einen Leistungsanspruch erforderlichen natürlichen Kausalzusammenhang zwischen Unfall und eingetretenem Schaden (Krankheit, Invalidität, Tod; <ref-ruling> E. 3.1 S. 181 mit Hinweisen). Ebenfalls richtig dargelegt hat es die Rechtsprechung über den zusätzlich zum natürlichen erforderlichen adäquaten Kausalzusammenhang. Danach spielt im Sozialversicherungsrecht die Adäquanz als rechtliche Eingrenzung der sich aus dem natürlichen Kausalzusammenhang ergebenden Haftung des Unfallversicherers bei organisch objektiv ausgewiesenen Unfallfolgen praktisch keine Rolle, weil sich hier die adäquate weitgehend mit der natürlichen Kausalität deckt (<ref-ruling> E. 5b/bb S. 103 mit Hinweisen). Anders verhält es sich bei natürlich unfallkausalen, aber organisch nicht objektiv ausgewiesenen Beschwerden. Hier ist bei der Beurteilung der Adäquanz vom augenfälligen Geschehensablauf auszugehen, und es sind je nach Schweregrad des Unfalles weitere unfallbezogene Kriterien mit einzubeziehen (<ref-ruling> E. 6 S. 366 ff. und 369 E. 4 S. 382 ff., 115 V 133 E. 6 S. 138 ff.). Bei nach einem Unfall auftretenden psychischen Fehlentwicklungen werden diese Adäquanzkriterien unter Ausschluss psychischer Aspekte geprüft (<ref-ruling> E. 6c/aa S. 140), während bei Schleudertraumen (<ref-ruling> E. 6a S. 367) und äquivalenten Verletzungen der Halswirbelsäule (HWS; SVR 1995 UV Nr. 23 S. 67 E. 2) sowie bei Schädel-Hirntraumen (<ref-ruling> E. 4b S. 383) auf eine Differenzierung zwischen physischen und psychischen Komponenten verzichtet wird. Dies, weil für die Beurteilung des adäquaten Kausalzusammenhanges als einer Rechtsfrage nicht entscheidend ist, ob die im Anschluss an eine solche Verletzung auftretenden Beschwerden medizinisch eher als organischer und/oder psychischer Natur bezeichnet werden, zumal diese Differenzierung angesichts des komplexen, vielschichtigen Beschwerdebildes in heiklen Fällen gelegentlich grosse Schwierigkeiten bereiten würde (<ref-ruling> E. 6.2.1 S. 116 f. in fine; vgl. zum Ganzen auch <ref-ruling> E. 5b/bb S. 103 und SVR 2007 UV Nr. 8 S. 27, E. 2 ff. [U 277/04], je mit Hinweisen).
2.3 Auch nach der bereits erwähnten Präzisierung der Schleudertrauma-Praxis in <ref-ruling> ist am Erfordernis einer besonderen Adäquanzprüfung bei Unfällen mit Schleudertrauma, äquivalenter HWS-Verletzung oder Schädel-Hirntrauma ohne organisch objektiv ausgewiesene Beschwerden festzuhalten (<ref-ruling> E. 7 S. 118 f. bis E. 9 S. 121 ff.). Ebenso besteht keine Veranlassung, die bewährten Grundsätze über die bei dieser Prüfung vorzunehmende Einteilung der Unfälle nach deren Schweregrad und den abhängig von der Unfallschwere gegebenenfalls erforderlichen Einbezug weiterer Kriterien in die Adäquanzbeurteilung zu ändern (<ref-ruling> E. 10.1 S. 126 f.). Das Bundesgericht hat hingegen die Anforderungen an den Nachweis einer natürlich unfallkausalen Verletzung, welche die Anwendung der Schleudertrauma-Praxis rechtfertigt, erhöht (<ref-ruling> E. 9 S. 121 ff.) und die adäquanzrelevanten Kriterien teilweise modifiziert (<ref-ruling> E. 10 S. 126 ff.). Unverändert bestehen gelassen hat das Gericht die Grundsätze, die bei psychischen Fehlentwicklungen nach Unfall zur Anwendung gelangen (<ref-ruling> E. 6.1 S. 116).
2.4 Auf den kantonalen Entscheid verwiesen werden kann schliesslich hinsichtlich der Würdigung und der Beweistauglichkeit medizinischer Berichte und Stellungnahmen (<ref-ruling> E. 3a S. 352 mit Hinweisen).
3. 3.1 Das kantonale Gericht hat den - medizinisch gut dokumentierten - Gesundheitszustand des Beschwerdeführers vor und nach seinem Unfall vom 8. September 2005 einlässlich geprüft. Dabei hat es auf Grund der ärztlichen Unterlagen erkannt, dass abgesehen von Kopf- und Nackenbeschwerden sowie Schwindelgefühlen und der singulären vagen Angabe einer nicht mehr gleich hohen Konzentration keine für das Beschwerdebild nach einem Schleudertrauma typischen Befunde aktenkundig seien. Nachdem Kopf- und Nackenbeschwerden ohnehin vorbestehend waren, stellte es angesichts des Fehlens einer objektivierbaren Beeinträchtigung und eines für ein Schleudertrauma "schlüssigen" Beschwerdebildes schon den natürlichen Kausalzusammenhang zwischen Unfall und gesundheitlicher Beeinträchtigung in Frage, mass diesem Aspekt aber insofern untergeordnete Bedeutung bei, als es jedenfalls die - nach der bei psychischen Fehlentwicklungen nach Unfällen massgebenden Rechtsprechung (<ref-ruling>) geprüfte - Adäquanz der geklagten Beschwerden verneinte. Mit dieser Begründung ist es weitestgehend der Auffassung der SUVA in deren Einspracheentscheid vom 2. August 2006 gefolgt.
3.2 Der Beschwerdeführer macht im Wesentlichen eine ungenügende Abklärung des medizinischen Sachverhalts geltend und wirft der Vorinstanz vor, ihr Ermessen überschritten und die Beweismittel willkürlich und rechtsungleich gewürdigt zu haben. Die Vorbringen in der Beschwerdeschrift sind indessen nicht geeignet, die Rechtmässigkeit des kantonalen Entscheids im Ergebnis ernsthaft in Frage zu stellen.
Was die - wie schon im vorinstanzlichen Verfahren nunmehr erneut - bestrittene Beweistauglichkeit der Stellungnahme des Kreisarztes Dr. med. B._ anbelangt, kann auf die zutreffenden Ausführungen im angefochtenen Entscheid verwiesen werden, welchen nichts beizufügen ist. Im Übrigen haben sowohl die SUVA wie auch das kantonale Gericht die vorhandenen medizinischen Unterlagen einer eingehenden Prüfung unterzogen. Diese vermitteln die für die Beurteilung der streitigen Leistungspflicht nötigen Auskünfte über die gesundheitliche Situation des Beschwerdeführers vor wie auch nach dessen Unfall vom 8. September 2005. Die beantragte Rückweisung an die Vorinstanz zur weiteren Abklärung erübrigt sich daher, wären davon doch keine Erkenntnisse zu erwarten, welche sich auf das Ergebnis des Verfahrens auswirken könnten. Der Beschwerdeführer legt denn auch nicht dar, wofür mit zusätzlichen Erhebungen der Beweis erbracht werden sollte. Nicht näher spezifiziert wird des Weitern, inwiefern die Würdigung der ärztlichen Berichte durch die Vorinstanz willkürlich, rechtsungleich oder ermessensmissbräuchlich ausgefallen sein sollte. Für den Ausgang des Verfahrens ist dies indessen ohnehin nicht von entscheidender Bedeutung.
4. 4.1 Das kantonale Gericht hat das Vorliegen eines Schleudertraumas und/oder eines Schädel-Hirntraumas zwar in Frage gestellt, die streitige Leistungspflicht letztlich aber nicht etwa wegen Fehlens der natürlichen Kausalität des Unfallereignisses für die noch vorhandenen Beschwerden, sondern ausschliesslich mangels Adäquanz derselben verneint. Eine konkrete Adäquanzprüfung enthält der angefochtene Entscheid allerdings nicht, wird doch lediglich abschliessend in einem einzigen Satz und ohne jegliche nähere Begründung dazu festgehalten, von den genannten - zuvor aufgelisteten - erforderlichen sieben Kriterien sei klarerweise keines erfüllt. Schon die SUVA hatte sich im Einspracheentscheid vom 2. August 2006 auf eine eher summarische Prüfung der Adäquanzfrage beschränkt. Ob die Vorinstanzen damit ihrer Begründungspflicht in hinreichender Weise nachgekommen sind, ist fraglich, kann jedoch dahingestellt bleiben, weil sich ohnehin die Frage aufdrängt, ob sie - angesichts der auch vorhandenen psychischen Problematik - die Adäquanzprüfung tatsächlich nach Massgabe der Rechtsprechung in <ref-ruling> vornehmen durften. Auch dies kann letztlich aber offen bleiben, wenn die Adäquanz selbst dann verneint werden müsste, wenn sie nach der in <ref-ruling> begründeten und in <ref-ruling> nunmehr präzisierten Rechtsprechung zu prüfen wäre.
4.2 Auf Grund der Aktenlage ist nicht auszuschliessen, dass der Beschwerdeführer anlässlich seines Unfalles vom 8. September 2005 ein Schleudertrauma, eine äquivalente Verletzung der HWS oder aber ein Schädel-Hirntrauma erlitten hat. Die danach zu Tage getretenen Beschwerden - namentlich Schwindelgefühle sowie Kopf- und Nackenschmerzen - weisen zumindest Züge des für solche Verletzungen typischen Beschwerdebildes auf, ohne dass dafür organisch objektivierbare Befunde ausgewiesen wären. Da sie nicht nur wie von der Vorinstanz als psychische Fehlentwicklung interpretiert werden können, sondern deren Ursache im Sinne der natürlichen Kausalität auch im versicherten Unfallereignis gesehen werden könnte, hat eine Adäquanzprüfung Platz zu greifen, welche sich nach der grundsätzlich sofort auch in bereits hängigen Fällen Anwendung findenden (Urteil 8C_57/2008 vom 16. Mai 2008, E. 4.2) Rechtsprechung in <ref-ruling> richtet. Auf weitere Abklärungen zur natürlichen Kausalität kann verzichtet werden, sofern der adäquate Kausalzusammenhang zu verneinen ist (Urteil 8C_452/2007 vom 10. Juni 2008, E. 3 [Ingress], mit Hinweis).
5. 5.1 Das Ereignis vom 8. September 2005, bei welchem der Beschwerdeführer mit seinem Fahrrad angefahren wurde und zu Fall gekommen ist, kann nach seinem augenfälligen Geschehensablauf wie von der Vorinstanz angenommen als mittelschwer, im Grenzbereich zu den leichten Unfällen liegend, eingestuft werden.
5.2 Um die Adäquanz der aufgetretenen Beschwerden bejahen zu können, müssten demnach von den weiteren, objektiv fassbaren und unmittelbar mit dem Unfall in Zusammenhang stehenden oder als Folge davon erscheinenden Umständen, welche als massgebende Kriterien in die Gesamtwürdigung einzubeziehen sind, entweder ein einzelnes in besonders ausgeprägter Weise oder aber mehrere in gehäufter oder auffallender Weise gegeben sein (<ref-ruling> E. 6b S. 367 f.). Daran hat sich mit <ref-ruling> nichts geändert (<ref-ruling> E. 10.1 S. 126 f.).
5.3 Gemäss angefochtenem Entscheid ist von den nach der bisherigen Rechtsprechung relevanten Kriterien keines erfüllt. Der Beschwerdeführer äussert sich in seiner Rechtsschrift nicht zu diesem Aspekt.
Die beiden (gegenüber der bisherigen Rechtsprechung unverändert gebliebenen) Kriterien der besonders dramatischen Begleitumstände oder besonderen Eindrücklichkeit des Unfalls sowie der ärztlichen Fehlbehandlung, welche die Unfallfolgen erheblich verschlimmert hat, sind klarerweise nicht erfüllt. Gleiches gilt für die Kriterien der fortgesetzt spezifischen, belastenden ärztlichen Behandlung (bisher: ungewöhnlich lange Dauer der ärztlichen Behandlung) und der Schwere oder besonderen Art der erlittenen Verletzungen. Zu beachten ist dabei, dass der Beschwerdeführer schon längere Zeit vor seinem Unfall am 8. September 2005 in ärztlicher Behandlung stand und diese unabhängig vom erlittenen Unfall auch weiterhin in Anspruch nehmen musste. Höchstens als knapp erfüllt betrachtet werden kann das Kriterium der erheblichen Arbeitsunfähigkeit trotz ausgewiesener Anstrengungen (bisher: Grad und Dauer der Arbeitsunfähigkeit), zumal der Beschwerdeführer schon seit September 2004 - mithin während eines ganzen Jahres vor dem hier zur Diskussion stehenden Unfallereignis - aus gesundheitlichen Gründen nur reduziert einsatzfähig gewesen war und die dadurch bedingte Arbeitsunfähigkeit weiter anhielt. Wie einer mit der Beschwerdeschrift eingereichten Verfügung der IV-Stelle Schwyz vom 7. Mai 2007 entnommen werden kann, erhielt der Beschwerdeführer von der Invalidenversicherung rückwirkend ab 1. August 2005 eine halbe Rente zugesprochen. Kaum als erfüllt betrachtet werden können schliesslich die weiteren Kriterien des schwierigen Heilungsverlaufs mit erheblichen Komplikationen und der erheblichen Beschwerden (bisher: Dauerbeschwerden). Abschliessend muss dies aber nicht beantwortet werden. Denn selbst wenn diese noch als gegeben betrachtet würden, lägen die adäquanzrelevanten Faktoren jedenfalls nicht in gehäufter oder auffälliger Weise vor. Auch wäre kein Kriterium in besonders ausgeprägter Weise erfüllt.
5.4 SUVA und Vorinstanz haben somit im Ergebnis eine über den 15. Mai 2006 hinausgehende Leistungspflicht zu Recht mangels eines rechtserheblichen Zusammenhangs zwischen den noch bestehenden Beschwerden und dem Unfall vom 8. September 2005 verneint.
6. Für die Gerichtskosten hat der Beschwerdeführer als unterliegende Partei aufzukommen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 1. Juli 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Krähenbühl