Sachverhalt:
A. Mit Verfügung vom 20. Juni 2011 lehnte die IV-Stelle des Kantons Aargau das Leistungsbegehren des als Vorarbeiter in der Firma I._ AG tätig gewesenen L._ (Jg. 1964) zufolge des mit lediglich 38 % nicht anspruchsrelevanten Invaliditätsgrades nach durchgeführtem Vorbescheidverfahren ab.
B. Das Versicherungsgericht des Kantons Aargau wies die hiegegen erhobene Beschwerde mit Entscheid vom 14. März 2012 ab.
C. L._ lässt Beschwerde ans Bundesgericht führen mit dem Begehren, es sei die Invalidität unter Aufhebung des kantonalen Entscheids auf 50 % festzusetzen; eventuell sei eine neutrale psychiatrische Begutachtung anzuordnen. Zudem ersucht er um unentgeltliche Rechtspflege. Am 3. Juli 2012 reicht er als zusätzliches Beweismittel einen Bericht des Spitals X._ vom 15. Mai 2012 nach.
Vorinstanz und IV-Stelle räumen ein, dass im Rahmen des im angefochtenen Entscheid vorgenommenen Einkommensvergleichs der zunächst als gerechtfertigt qualifizierte 10%ige Leidensabzug letztlich versehentlich nicht berücksichtigt worden ist; unter Beachtung dieses Abzuges ergebe sich bei einem Invaliditätsgrad von aufgerundet 40 % Anspruch auf eine Viertelsrente. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann eine - für den Ausgang des Verfahrens entscheidende (<ref-law>) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Im Übrigen wendet es das Recht von Amtes wegen an (<ref-law>), prüft indessen - unter Beachtung der allgemeinen Begründungspflicht in Beschwerdeverfahren (Art. 42 Abs. 1 und 2 BGG) - grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
2. 2.1 Aufgrund der Vorbringen in der Beschwerdeschrift sind die der Ermittlung des trotz Invalidität zumutbarerweise noch erzielbaren Verdienstes (Invalideneinkommen) zugrunde gelegte Arbeitsfähigkeit einerseits (nachstehende E. 3) und die im Einkommensvergleich nach <ref-law> berücksichtigten Vergleichseinkommen (ohne Invalidität mutmasslich realisierter Lohn [Valideneinkommen] und Invalideneinkommen) andererseits (nachstehende E. 4) zu prüfen.
2.2 Die für die Beurteilung der streitigen Aspekte massgebenden gesetzlichen Bestimmungen und die von der Rechtsprechung weiter konkretisierten Grundlagen dazu hat das kantonale Gericht sowohl in materiell- als auch in formell-, namentlich beweisrechtlicher Hinsicht richtig dargelegt, worauf verwiesen wird.
2.3 Weil neue Tatsachen und Beweismittel laut <ref-law> nur so weit vorgebracht werden dürfen, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>), muss der am 3. Juli 2012 als zusätzliches Beweismittel im bundesgerichtlichen Verfahren beigebrachte Bericht des Spitals X._ vom 15. Mai 2012 unbeachtet bleiben.
3. 3.1 Entsprechend der im Institut Y._ eingeholten Expertise vom 1. März 2011 sind Vorinstanz und Verwaltung davon ausgegangen, dass dem Beschwerdeführer die bisherige sowie jede andere mittelschwere bis schwere Tätigkeit nicht mehr zumutbar ist, er für leidensangepasste, wechselbelastende, körperlich leichte Tätigkeiten hingegen uneingeschränkt arbeitsfähig sei.
3.2 Das kantonale Gericht befand, das sich auf eine orthopädische, auf eine internistisch-allgemeinmedizinische und auf eine psychiatrische Expertise stützende Gutachten des Instituts Y._ vom 1. März 2011 erfülle die an medizinische Beurteilungsgrundlagen zu stellenden beweisrechtlichen Anforderungen (vgl. <ref-ruling> E. 3a S. 352), überzeuge und lasse zusätzliche Abklärungen als nicht mehr erforderlich erscheinen. Wie der Beschwerdeführer zu bedenken gibt, bot die Beweistauglichkeit von Gutachten Medizinischer Abklärungsstellen (MEDAS) - wozu auch das Institut Y._ gehört - in Praxis, Lehre und Rechtsprechung zwar verschiedentlich Anlass zu Diskussionen. Inwiefern er daraus und insbesondere aus dem sich mit dieser Problematik ausführlich auseinandersetzenden, in <ref-ruling> auszugsweise publizierten bundesgerichtlichen Urteil 9C_243/2010 vom 28. Juni 2011 etwas zu seinen Gunsten ableiten könnte, legt der Beschwerdeführer jedoch nicht dar. Mangels entsprechender substanziierter Rügen besteht unter diesen Umständen kein Anlass, der Frage nach der beweisrechtlichen Eignung des Gutachtens des Instituts Y._ vom 1. März 2011 weiter nachzugehen (vgl. E. 1 hievor). Auch ist kein Grund für Zweifel an der Unabhängigkeit und Unparteilichkeit der Begutachtungsstelle ersichtlich. Wie im angefochtenen Entscheid erkannt worden ist, erfüllt deren Expertise vom 1. März 2011 die Erfordernisse einer beweistauglichen medizinischen Entscheidungsgrundlage und vermittelt in überzeugender und schlüssiger Weise ein Gesamtbild der gesundheitlichen Beeinträchtigungen, auf welches im Rahmen der Invaliditätsbemessung abgestellt werden kann.
3.3 Daran vermag nichts zu ändern, dass die involvierten Ärzte psychiatrischer Fachrichtung - darunter auch nicht im Institut Y._ tätige - zu doch klar divergierenden Arbeitsfähigkeitsschätzungen gelangen. Das Ausmass der trotz gesundheitlicher Beeinträchtigungen verbliebenen Restarbeitsfähigkeit zählt zu dem von der Vorinstanz für das Bundesgericht grundsätzlich verbindlich festgestellten Sachverhalt, welcher einer Überprüfung nur im Rahmen von <ref-law> auf offensichtliche Unrichtigkeit oder Rechtsverletzungen im Sinne von <ref-law> hin zugänglich ist (E. 1 hievor). Derartige Mängel werden in der Beschwerdeschrift nicht aufgezeigt. Insbesondere kann darin keine Widersprüchlichkeit erblickt werden, dass die mit der psychiatrischen Exploration vom Institut Y._ betraute Fachperson (Dr. med. Z._), obschon sie keine Diagnose mit Auswirkungen auf die Arbeitsfähigkeit stellen konnte, eine Fortsetzung der medikamentösen Behandlung mit Dosierungserhöhung vorschlägt. Ebenso wenig stellen die lange Zeit vor der Begutachtung im Institut Y._ am 5. Januar 2011 in der Eingliederungsstätte für Behinderte vom 4. Mai bis 7. August 2009 und in der Stiftung W._ vom 4. Januar bis 12. März 2010 ohne nennenswerten Erfolg unternommenen Integrationsbemühungen (Belastbarkeitstraining) die Zuverlässigkeit der späteren Beurteilung durch das Institut Y._ ernsthaft in Frage.
4. 4.1 Für die Bestimmung des dem Einkommensvergleich nach <ref-law> zugrunde zu legenden Valideneinkommens, das der Beschwerdeführer im Jahre 2008 - dem rechtsprechungsgemäss massgebenden Zeitpunkt des frühestmöglichen Rentenbeginns (<ref-ruling> E. 4.1 und 4.2 S. 223 f.) - nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit ohne Gesundheitsschaden mutmasslich erreichen würde, ging die Vorinstanz vom Durchschnitt der laut individuellem Konto in den Jahren 2002 sowie 2004 bis 2006 erhaltenen, jeweils auf das Jahr 2008 hochgerechneten Lohnzahlungen aus, da die frühere Arbeitgeberfirma keine genaueren Angaben über die Höhe allfälliger Zulagen machen konnte. Sie ermittelte so einen Betrag von Fr. 89'306.04.
4.2 Das Invalideneinkommen ermittelte sie unter Zuhilfenahme der vom Bundesamt für Statistik periodisch durchgeführten Lohnstrukturerhebung (LSE). Dabei ging sie - anders als die Verwaltung - rich-tigerweise von den für das Jahr 2008 (LSE 2008; vgl. vorstehende E. 4.1) ausgewiesenen Löhnen für Männer aus, welche mit Arbeiten bei Anforderungsniveau 4 betraut sind. Hochgerechnet auf die betriebsübliche Arbeitszeit von 41,6 Wochenstunden ergab sich ein Jahreseinkommen von Fr. 59'978.88 und unter Zubilligung eines 10%igen leidensbedingten Abzuges ein solches von Fr. 53'980.99.
4.2 Das Invalideneinkommen ermittelte sie unter Zuhilfenahme der vom Bundesamt für Statistik periodisch durchgeführten Lohnstrukturerhebung (LSE). Dabei ging sie - anders als die Verwaltung - rich-tigerweise von den für das Jahr 2008 (LSE 2008; vgl. vorstehende E. 4.1) ausgewiesenen Löhnen für Männer aus, welche mit Arbeiten bei Anforderungsniveau 4 betraut sind. Hochgerechnet auf die betriebsübliche Arbeitszeit von 41,6 Wochenstunden ergab sich ein Jahreseinkommen von Fr. 59'978.88 und unter Zubilligung eines 10%igen leidensbedingten Abzuges ein solches von Fr. 53'980.99.
4.3 4.3.1 Dem Beschwerdeführer ist zunächst darin beizupflichten, dass sich in die vorinstanzliche Berechnung des Invaliditätsgrades ein Fehler eingeschlichen hat, indem dem Valideneinkommen von Fr. 89'306.04 offenbar versehentlich - und nicht wie im angefochtenen Entscheid kurz zuvor dargelegt - ein Invalideneinkommen von Fr. 59'978.88 statt Fr. 53'980.99 gegenübergestellt wurde. Richtigerweise ergäbe ein Einkommensvergleich mit den von der Vorinstanz festgestellten Vergleichseinkommen von Fr. 89'306.04 (E. 4.1 hievor) und Fr. 53'980.99 (E. 4.2 hievor) einen Invaliditätsgrad von 39.55 % und aufgerundet 40 %. Dies reicht für die Begründung eines Anspruches auf eine Viertelsrente aus. Insoweit ist der kantonale Entscheid gestützt auf <ref-law> zu berichtigen (vgl. E. 1 hievor).
4.3.2 Abgesehen von diesem offensichtlichen Mangel erweckt aber auch die vorinstanzliche Ermittlung des Valideneinkommens Bedenken. Vor Eintritt der gesundheitsbedingten Arbeitsunfähigkeit im Februar 2007 erzielte der Beschwerdeführer gemäss Auszug aus dem individuellen Konto im Jahre 2006 ein Jahreseinkommen von Fr. 90'135.-. Hochgerechnet auf das Jahr 2008 ergäbe dies ein Valideneinkommen von Fr. 93'418.32 (Fr. 90'135 / 40 x 41.6). Stattdessen stellte die Vorinstanz auf das durchschnittliche Jahreseinkommen in den Jahren 2002 und 2004 bis 2006 von Fr. 89'306.04 ab. Dies mit der Begründung, vom früheren Arbeitgeber seien keine genaueren Angaben über nebst dem Grundlohn zusätzlich zu erwartende Zulagen erhältlich. Das Jahr 2003 liess sie unberücksichtigt, weil der Beschwerdeführer damals teilweise arbeitslos war. Ob es sich hier tatsächlich rechtfertigen lässt, wie die Vorinstanz von einem Durchschnittslohn auszugehen, kann dahingestellt bleiben. Würde - wie vom Beschwerdeführer vorgeschlagen - als Valideneinkommen der Betrag von Fr. 93'418.32 (auf das Jahr 2008 hochindexiertes Einkommen des Jahres 2006 [Fr. 90'135.- / 115.3 x 119.5]) eingesetzt, ergäbe sich bei sonst - mit Ausnahme der unter vorstehender E. 4.1 erwähnten Korrektur - unveränderter Ausgangslage ein Invaliditätsgrad von (abgerundet) 42 %. Damit bliebe es beim Anspruch auf eine Viertelsrente. Eine entsprechende Berichtigung würde sich verbieten, da sie nicht im Sinne von <ref-law> für den Ausgang des Verfahrens entscheidend wäre, es sei denn, auch das Invalideneinkommen müsste in einem Ausmass berichtigt werden, das einen höheren Rentenanspruch bewirken würde.
4.3.3 Eine solche Reduktion beantragt der Beschwerdeführer, indem er die Gewährung eines so genannt leidens- oder behinderungsbedingten Abzuges von 25 % vom rein auf tabellarischer Grundlage ermittelten Invalideneinkommen fordert. Vorinstanz und Verwaltung waren demgegenüber nur zur Zubilligung eines 10%igen Abzuges bereit.
Die Frage nach der Höhe eines in einem konkreten Fall grundsätzlich angezeigten leidensbedingten Abzuges stellt eine typische Ermessensfrage dar, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht sein Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensmissbrauch oder aber -überschreitung oder -unterschreitung vorliegt. Davon kann hier indessen keine Rede sein. Nach vorinstanzlicher Auffassung wurde der behinderungsbedingten Notwendigkeit einer leichten und wechselbelastenden Tätigkeit - als einziger leidensbedingten Einschränkung des Beschwerdeführers auf dem Arbeitsmarkt - mit dem schon von der Verwaltung gewährten Abzug von 10 % genügend Rechnung getragen. Nachdem andere abzugsbegründende Faktoren nicht ersichtlich sind, kann diese Beurteilung jedenfalls nicht als ermessensmissbräuchlich bezeichnet werden, weshalb sie einer bundesgerichtlichen Korrektur nicht zugänglich ist. Dies rechtfertigt sich im Ergebnis umso mehr, als nur ein 20 % übersteigender Abzug überhaupt zu einem höheren Rentenanspruch führen würde.
5. Da dem Beschwerdeführer, der - zumindest sinngemäss - die Zusprechung einer halben Invalidenrente beantragt hat, lediglich eine Viertelsrente zugestanden wird, sind die Gerichtskosten (Art. 65 Abs. 1 und Abs. 4 lit. a BGG) von den Parteien je zur Hälfte zu tragen (<ref-law>). Für das kantonale Verfahren wird die Vorinstanz die Kosten- und Entschädigungsfolgen entsprechend dem Ausgang des letztinstanzlichen Prozesses neu festzusetzen haben (Art. 67 und 68 Abs. 5 BGG). Dem Beschwerdeführer kann die unentgeltliche Rechtspflege gewährt werden (<ref-law>), da die Bedürftigkeit aktenkundig ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung notwendig war (vgl. <ref-ruling> E. 4a S. 202 und 371 E. 5b S. 372). Er wird der Gerichtskasse Ersatz zu leisten haben, wenn er später dazu in der Lage ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons Aargau vom 14. März 2012 und die Verfügung der IV-Stelle des Kantons Aargau vom 20. Juni 2011 werden aufgehoben. Es wird festgestellt, dass der Beschwerdeführer Anspruch auf eine Viertelsrente hat. Die Sache wird an die IV-Stelle zurückgewiesen, damit diese den Zeitpunkt des Rentenbeginns bestimme. Im Übrigen wird die Beschwerde abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Von den Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer Fr. 250.- und der Beschwerdegegnerin Fr. 250.- auferlegt. Der Anteil des Beschwerdeführers wird vorläufig auf die Gerichtskasse genommen.
4. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'400.- zu entschädigen.
5. Fürsprecher Dr. iur. Stefan Werlen wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 1'400.- ausgerichtet.
6. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons Aargau zurückgewiesen.
7. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Oktober 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Krähenbühl