Sachverhalt:
Mit Einspracheentscheid vom 28. August 2006 bestätigte die IV-Stelle Schwyz ihre Verfügung vom 4. Mai 2006, mit welcher sie G._ rückwirkend ab 1. September 2005 eine Dreiviertelsrente zugesprochen hatte.
Eine mit dem Begehren um Gewährung einer ganzen Invalidenrente erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 17. Januar 2007 ab.
G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und seinen im kantonalen Verfahren gestellten Antrag erneuern.
Die IV-Stelle sieht von einer materiellen Stellungnahme zur Sache ab. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Der Beschwerdeführer beanstandet den von der Vorinstanz im Rahmen des für die Invaliditätsbemessung erforderlichen Einkommensvergleichs angenommenen Verdienst, den er realisieren könnte, wenn er nicht invalid geworden wäre (Valideneinkommen), und den er trotz seiner gesundheitlichen Beeinträchtigung zumutbarerweise noch zu erzielen in der Lage wäre (Invalideneinkommen).
2.1 Die gesetzlichen und von der Rechtsprechung weiterentwickelten und konkretisierten Grundlagen für die Invaliditätsbemessung bei Erwerbstätigen nach der Einkommensvergleichsmethode (<ref-law>), insbesondere die Voraussetzungen für das Abstellen auf die vom Bundesamt für Statistik anlässlich der periodisch durchgeführten Lohnstrukturerhebung (LSE) ermittelten und tabellarisch festgehaltenen Verdienste auf dem Arbeitsmarkt, hat das kantonale Gericht zutreffend dargelegt, worauf verwiesen wird.
2.2 Bezüglich der Ermittlung des Valideneinkommens wird geltend gemacht, Vorinstanz und Verwaltung hätten nicht die LSE beiziehen dürfen, sondern den mit dem ehemaligen Arbeitgeber vertraglich vereinbarten Lohn als Ausgangslage nehmen müssen. Abgesehen davon, dass das rechtsgenügliche Zustandekommen eines schriftlichen Arbeitsvertrages nicht nachgewiesen ist und bestritten wird, hat der Beschwerdeführer vor Invaliditätseintritt während der gesamten seit November 2003 dauernden früheren Anstellung bei weitem nicht den in einem ursprünglich aufgesetzten Vertrag vorgesehenen Lohn beziehen können, sondern sich mit einer Entschädigung begnügt, welche sogar wesentlich unter dem von der Vorinstanz gestützt auf die LSE ermittelten Verdienst liegt. Kommt hinzu, dass das frühere Arbeitsverhältnis aus nicht nur invaliditätsbedingten Gründen seitens des Arbeitgebers schon am 23. September 2004 auf den 31. Oktober 2004 gekündigt worden war, sodass nicht von einem ohne Gesundheitsschädigung im für einen Einkommensvergleich massgebenden Zeitpunkt des Beginns des Rentenanspruches (<ref-ruling> E. 4.1 und 4.2 S. 223 f.) mutmasslich noch weiterbestehenden Arbeitsverhältnis ausgegangen werden kann. Damit aber liegen keine hinreichend zuverlässigen Angaben über die hypothetische Einkommensentwicklung ohne Invalidität vor, weshalb das vorinstanzliche Abstellen auf die LSE wenn nicht gar geboten, so doch jedenfalls nicht bundesrechtswidrig war. Von einer offensichtlich unrichten Sachverhaltsfeststellung kann im Übrigen in diesem Zusammenhang nicht die Rede sein.
2.3 Was das Invalideneinkommen anbelangt, ist einzig noch die Höhe des dem Beschwerdeführer zuzubilligenden behinderungsbedingten Abzuges von den Tabellenlöhnen gemäss LSE (<ref-ruling> E. 5 S. 78 ff. und E. 5b/cc S. 80) streitig. Wie das kantonale Gericht ausgeführt hat, kann es bei der gerichtlichen Überprüfung eines solchen Abzuges nicht darum gehen, dass die kontrollierende Instanz ihr Ermessen an die Stelle desjenigen der Vorinstanz setzt; will es von der Höhe eines solchen Abzuges abweichen, muss es dafür gewichtige Gründe anführen und sich auf Gegebenheiten stützen können, welche ihre Ermessensausübung als naheliegender erscheinen lassen (<ref-ruling> E. 6 S. 81 mit Hinweis). Während die Vorinstanz noch triftige Gründe für ein Abweichen von dem von der Verwaltung angenommenen 15%igen Abzug hatte (Teilzeitarbeit, fortgeschrittenes Alter), sind solche für eine weitere Erhöhung des vom kantonalen Gericht auf nunmehr 20 % veranschlagten Abzuges im bundesgerichtlichen Verfahren nicht gegeben. Weder die Nationalität des Beschwerdeführers noch seine allenfalls mangelhaften Deutschkenntnisse und die wohl unvermeidliche Einarbeitung in einem neuen Betätigungsfeld rechtfertigen einen zusätzlichen Abzug. Es kann diesbezüglich auf die Argumentation im kantonalen Entscheid verwiesen werden, welcher nichts beizufügen ist.
3. Die Beschwerde hatte von vornherein keine Aussicht auf Erfolg, weshalb sie im vereinfachten Verfahren nach <ref-law> als offensichtlich unbegründet (Abs. 2 lit. a) mit summarischer Begründung und unter Verweis auf die Erwägungen des kantonalen Gerichts im angefochtenen Entscheid wie auch in dessen Stellungnahme vom 2. Mai 2007 erledigt wird.
4. Die Gerichtskosten sind vom Beschwerdeführer als unterliegender Partei zu tragen (Art. 66 Abs. 1 und 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. Januar 2008
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Widmer Krähenbühl