Sachverhalt:
A. Mit Einspracheentscheid vom 4. Mai 2006 bestätigte die Schweizerische Unfallversicherungsanstalt (SUVA) ihre Verfügung vom 3. Januar 2006, mit welcher sie die R._ (Jg. 1949) nach einem am 27. Januar 2005 erlittenen Unfall erbrachten Leistungen (Heilbehandlung und Taggelder) mangels adäquaten Kausalzusammenhangs zwischen versichertem Unfallereignis und noch geklagten Beschwerden auf den 8. Januar 2006 hin einstellte. Sowohl das Verwaltungsgericht des Kantons Schwyz als auch das Bundesgericht wiesen die in der Folge ergriffenen Rechtsmittel ab (kantonaler Entscheid vom 19. Oktober 2006; bundesgerichtliches Urteil vom 25. Juni 2007 [U 562/06] und Revisionsurteil vom 17. März 2008 [8F_16/2007]).
Das Anfang Februar 2007 von R._ bei der Invalidenversicherung gestellte Leistungsbegehren lehnte die IV-Stelle Schwyz auf Grund der Ergebnisse ihrer Abklärungen medizinischer und beruflicher Art sowie nach Beizug der Akten der SUVA und durchgeführtem Vorbescheidverfahren mit Verfügung vom 31. Dezember 2007 ab, weil keine anspruchsrelevante Invalidität vorliege.
Die gegen die leistungsverweigernde Verfügung der IV-Stelle erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 25. Juni 2008 ab.
R._ beantragt beschwerdeweise, die Sache zur Vornahme weiterer medizinischer Abklärungen an das kantonale Gericht, eventuell an die IV-Stelle, zurückzuweisen.

Erwägungen:
1. Der Beschwerdeführer macht eine Verletzung von Art. 43 Abs. 1 ATSG geltend, gemäss welchem der Versicherungsträger die Begehren prüft, die notwendigen Abklärungen von Amtes wegen vornimmt und die erforderlichen Auskünfte einholt (Satz 1). Für das kantonale Beschwerdeverfahren würde dies einer Verletzung von Art. 61 lit. c ATSG entsprechen, welche Bestimmung das kantonale Versicherungsgericht verpflichtet, die für den Entscheid erheblichen Tatsachen unter Mitwirkung der Parteien festzustellen und die notwendigen Beweise zu erheben, wobei es in der Beweiswürdigung frei ist.
1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
1.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage. Auch die konkrete Beweiswürdigung stellt eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfrage (<ref-ruling> E. 3.2 S. 397 ff. und E. 4 S. 399 ff.; Urteil 9C_270/2008 vom 12. August 2008 E. 2.2 mit Hinweis).
2. 2.1 Das kantonale Gericht hat die für die Beurteilung der Streitsache wesentlichen Grundlagen zutreffend dargelegt. Es betrifft dies namentlich die Ausführungen über die Aufgaben des Arztes oder der Ärztin im Rahmen der Invaliditätsbemessung und die ihren Berichten dabei zukommende Bedeutung (<ref-ruling> E. 4 S. 261). Nichts beizufügen ist weiter den vorinstanzlichen Erwägungen über die an beweiskräftige medizinische Berichte zu stellenden Anforderungen (<ref-ruling> E. 3a S. 352) und den im Sozialversicherungsbereich grundsätzlich geltenden Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 5b S. 360 mit Hinweisen). Beizupflichten ist ferner dem Hinweis der Vorinstanz auf den Grundsatz der freien Beweiswürdigung, welche das Gericht verpflichtet, die Beweise - ohne Bindung an förmliche Regeln - umfassend, pflichtgemäss und objektiv zu würdigen und insbesondere die Gründe anzugeben, warum es auf die eine und nicht auf die andere medizinische These abstellt (<ref-ruling> E. 2.1 S. 395 f.).
2.2 In beweisrechtlicher Hinsicht ist zu ergänzen, dass das Administrativverfahren nach Art. 43 Abs. 1 ATSG wie auch der kantonale Sozialversicherungsprozess nach Art. 61 lit. c ATSG vom Untersuchungsgrundsatz beherrscht sind. Danach haben die Verwaltung und das Sozialversicherungsgericht den rechtserheblichen Sachverhalt von Amtes wegen festzustellen. Diese Untersuchungspflicht dauert so lange, bis über die für die Beurteilung des streitigen Anspruchs erforderlichen Tatsachen hinreichende Klarheit besteht. Der Untersuchungsgrundsatz weist enge Bezüge zum - auf Verwaltungs- und erstinstanzlicher Gerichtsstufe geltenden - Grundsatz der freien Beweiswürdigung (vgl. E. 2.1 hievor) auf. Führen die im Rahmen des Untersuchungsgrundsatzes von Amtes wegen vorzunehmenden Abklärungen den Versicherungsträger oder das Gericht bei umfassender, sorgfältiger, objektiver und inhaltsbezogener Beweiswürdigung (<ref-ruling> E. 4.1 S. 399 f.) zur Überzeugung, ein bestimmter Sachverhalt sei als überwiegend wahrscheinlich zu betrachten (<ref-ruling> E. 5b S. 360 mit Hinweis) und es könnten weitere Beweismassnahmen an diesem feststehenden Ergebnis nichts mehr ändern, liegt im Verzicht auf die Abnahme weiterer Beweise keine Verletzung des Anspruchs auf rechtliches Gehör (antizipierte Beweiswürdigung; vgl. SVR 2001 IV Nr. 10 S. 27 E. 4 und die zu Art. 4 Abs. 1 aBV ergangene, weiterhin geltende Rechtsprechung in <ref-ruling> E. 4b S. 94 und 122 V 157 E. 1d S. 162, je mit Hinweisen). Bleiben jedoch erhebliche Zweifel an Vollständigkeit und/oder Richtigkeit der bisher getroffenen Tatsachenfeststellung bestehen, ist weiter zu ermitteln, soweit von zusätzlichen Abklärungsmassnahmen noch neue wesentliche Erkenntnisse erwartet werden können (Urteil 8C_364/2007 vom 19. November 2007 E. 3.2 mit Hinweisen).
2.3 Der Untersuchungsgrundsatz zählt zu den in Art. 95 BGG erwähnten bundesrechtlichen Vorschriften. Hat das kantonale Gericht die rechtserheblichen tatsächlichen Feststellungen - wozu die (Rest-)Arbeitsfähigkeit gehört, soweit sie sich auf konkrete ärztliche Stellungnahmen zum Gesundheitszustand stützt (<ref-ruling> E. 3.2 S. 397 f.) - in Verletzung des Untersuchungsgrundsatzes getroffen, sind sie für das Bundesgericht nicht verbindlich (Urteil 8C_364/2007 vom 19. November 2007 E. 3.3).
3. Die leistungsverweigernde Verfügung vom 31. Dezember 2007 stützt sich im Wesentlichen auf von der SUVA beigezogene Unterlagen.
3.1 Dem ebenfalls in den Akten liegenden Bericht des Regionalen Ärztlichen Dienstes der Invalidenversicherung (RAD) vom 11. September 2007 kommt demgegenüber insofern keine selbstständige Bedeutung zu, als er nicht auf eigenständigen Erhebungen beruht, sondern - als interner Bericht im Sinne von Art. 49 Abs. 3 IVV - lediglich Ergebnisse der - von der SUVA veranlassten - medizinischen Untersuchungen zusammenfasst und eine Empfehlung zur weiteren Bearbeitung des Leistungsbegehrens aus medizinischer Sicht enthält (vgl. dazu Urteile 9C_55/2008 vom 26. Mai 2008 E. 4.1 und 4.2; 9C_341/2007 vom 16. November 2007 E. 4.1; I 143/07 vom 14. September 2007 E. 3.3). Aspekte, welche weitere Erhebungen nahelegen würden, sind im RAD-Bericht vom 11. September 2007 nicht enthalten.
3.2 Bedenken hinsichtlich des primären Abstellens auf die Akten des Unfallversicherers mag allenfalls der Umstand erwecken, dass die SUVA in erster Linie an der Kausalität des versicherten Unfallereignisses vom 27. Januar 2005 (Sturz auf einer vereisten Treppe) für die noch vorhandenen Beschwerden (Schwindel, Schmerzen im Bereich der Halswirbelsäule und des Hinterkopfs) interessiert war. Dennoch finden sich in ihren Akten auch fachärztliche Schätzungen zur trotz gesundheitlichen Beeinträchtigungen noch zumutbaren Arbeitstätigkeit, gegen deren Beizug im invalidenversicherungsrechtlichen Verfahren grundsätzlich nichts einzuwenden ist. Zu beachten ist dabei allerdings, dass das Leidensbild des Beschwerdeführers auch von für den Unfallversicherungsbereich nicht relevanten krankheitsbedingten Faktoren, namentlich allfälligen Auswirkungen des im Jahre 2001 festgestellten und damals operativ mittels Gamma-Knife angegangenen Meningeoms des linken Kleinhirnbrückenwinkels, geprägt sein kann. Dessen waren sich aber nicht nur die IV-Stelle, sondern auch die Ärzte, welche sich zum Leistungsvermögen des Beschwerdeführers äusserten, bewusst. Solange Letztere ihre Einschätzungen nicht ausdrücklich auf unfallbedingte Behinderungen einschränkten - was vorliegend nicht zutrifft -, konnten diese grundsätzlich auch für die Belange der Invalidenversicherung Gültigkeit beanspruchen. Insoweit ist das Vorgehen der IV-Stelle demnach nicht zu beanstanden.
3.3 Die SUVA hat im Rahmen ihrer Abklärungen eine Begutachtung in der Klinik Y._ veranlasst, wo sich der Beschwerdeführer vom 20. April bis am 1. Juni 2005 aufgehalten hat. Der Austrittsbericht vom 21. Juni 2005 geht davon aus, dass bei günstigem Verlauf in drei bis vier Monaten mit einer Wiederaufnahme der vor dem Unfall ausgeübten Tätigkeit als Reinigungsangestellter gerechnet werden kann. Diese prognostische Angabe ist im Hinblick auf eine neurootologische Untersuchung durch Dr. med. G._ von der SUVA bereits im Austrittsbericht der Klinik Y._ insoweit relativiert worden, als das Leistungsprofil dahingehend präzisiert wurde, dass Arbeiten mit erhöhter Absturzgefahr, auf ungesicherten Gerüsten sowie an schnell rotierenden Maschinen vermieden werden sollten. Eine Wiederaufnahme der angestammten Tätigkeit, bei welcher vorwiegend Treppen und Fenster zu reinigen waren, schied damit für den Beschwerdeführer wegen seiner Schwindelgefühle praktisch aus. Daraus kann indessen nicht geschlossen werden, die prognostische Beurteilung der Arbeitsfähigkeit in der Klinik Y._ hätte sich auch für andere leidensangepasste Tätigkeiten als unrichtig erwiesen, weshalb zusätzliche Abklärungen unumgänglich wären.
3.4 Entgegen der Argumentation in der Beschwerdeschrift liessen weder die Entwicklung nach der Begutachtung in der Klinik Y._ noch die seither hinzugekommenen ärztlichen Stellungnahmen weitergehende Erhebungen hinsichtlich der verbliebenen Arbeitsfähigkeit als nötig erscheinen. Etwas anderes, insbesondere eine seit dem Aufenthalt in der Klinik Y._ eingetretene Verschlechterung des Gesundheitszustandes, vermag der Beschwerdeführer auch aus der im kantonalen Verfahren nachgereichten Stellungnahme des Rheumatologen Dr. med. L._ von der Klinik X._ vom 5. Mai 2008 nicht abzuleiten. Daran ändert nichts, dass Dr. med. L._ - nach Erlass der angefochtenen Verwaltungsverfügung vom 31. Dezember 2007 - eine "neurologische/neurootologische genaue Abklärung" als indiziert betrachtete, liegt doch bereits ein Bericht über die erfolgte neurootologische Untersuchung bei Dr. med. G._ (E. 3.3 hievor) vom 31. Mai 2005 in den Akten. Die von Dr. med. L._ erhobenen Befunde jedenfalls stellen, wie die Vorinstanz - für das Bundesgericht bindend - erkannte, keine wesentlichen neuen Diagnosen dar. Nicht ersichtlich ist, inwiefern der Beschwerdeführer aus der Beurteilung des Dr. med. Z._, dessen neurologisches Konsilium im Rahmen der Begutachtung in der Klinik Y._ erging, die Notwendigkeit zusätzlicher Abklärungen ableiten könnte. Die darin enthaltenen Erkenntnisse konnten im Austrittsbericht der Klinik Y._ vom 21. Juni 2005 Berücksichtigung finden. Dass der vor dem Unfall vom 27. Januar 2005 bestehende Zustand entgegen der Argumentation des kantonalen Gerichts nicht mehr erreicht worden sei, hat keinen Einfluss auf die Beurteilung der Arbeitsfähigkeit durch die Ärzte der Klinik Y._.
3.5 Soweit der Beschwerdeführer die geltend gemachte Verschlechterung seines Gesundheitszustandes seit dem Aufenthalt in der Klinik Y._ mit dem von Dr. med. A._, in einem Bericht vom 26. Januar 2006 diagnostizierten und als "operationswürdig" bezeichneten Karpaltunnelsyndrom (CTS) begründet, liegt eine neue Tatsachenbehauptung vor, welche auf Grund von Art. 99 Abs. 1 BGG nicht zulässig ist.
4. Die übrigen in der Beschwerdeschrift erhobenen Einwände sind der vorinstanzlichen Beweiswürdigung zuzuordnen, welche einer Überprüfung durch das Bundesgericht grundsätzlich nicht zugänglich ist (E. 1.2 hievor). Dass sie im Sinne von Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG offensichtlich unrichtig wäre, wird in der Beschwerdeschrift nicht behauptet.
5. Da offensichtlich unbegründet, wird die Beschwerde im Verfahren nach Art. 109 Abs. 2 lit. a BGG im vereinfachten Verfahren ohne Durchführung eines Schriftenwechsels (Art. 102 Abs. 1 BGG) erledigt.
6. Die Gerichtskosten sind vom Beschwerdeführer als unterliegender Partei zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, der Ausgleichskasse Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. Oktober 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Krähenbühl