Sachverhalt:
A. Der 1963 geborene B._, gelernter Radio- und TV-Elektroniker, meldete sich am 3. November 2005 bei der liechtensteinischen Alters-, Hinterlassenen- und Invalidenversicherung zum Leistungsbezug an. Diese sprach ihm mit Verfügung vom 25. August 2008 ab 1. März 2007 eine Dreiviertelsrente der liechtensteinischen Invalidenversicherung zu und leitete das Gesuch am 22. August 2008 an die IV-Stelle für Versicherte im Ausland weiter. Diese sprach ihm nach Abklärungen in medizinischer und erwerblicher Hinsicht mit Verfügung vom 22. Juni 2009 gestützt auf einen Invaliditätsgrad von 65% ab 1. Mai 2006 eine Dreiviertelsrente der Invalidenversicherung zu.
B. Die hiegegen erhobene Beschwerde hiess das Bundesverwaltungsgericht mit Entscheid vom 28. Juli 2011 teilweise gut und hob die Verfügung der IV-Stelle vom 22. Juni 2009 insoweit auf, als diese ihm erst ab 1. Mai 2006 eine Dreiviertelsrente zugesprochen hatte und hielt fest, B._ sei mit Wirkung ab 1. Mai 2005 eine Dreiviertelsrente auszurichten.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, es sei ihm eine ganze Rente der Invalidenversicherung zuzusprechen. Er lässt eine Bestätigung des Arbeitgebers vom 6. September 2011 ins Recht legen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. Das Bundesverwaltungsgericht hat die gesetzlichen Bestimmungen und von der Rechtsprechung dazu entwickelten Grundsätze zum Begriff der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>), zu den Voraussetzungen und zum Umfang des Rentenanspruchs (<ref-law>) sowie zum Beweiswert (<ref-ruling> E. 5.1 S. 232) und zur Würdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 3a S. 352) zutreffend dargelegt. Darauf wird verwiesen.
3. Streitig und zu prüfen ist der Anspruch auf eine Invalidenrente. Dabei steht einzig in Frage, wie hoch das Valideneinkommen im massgebenden Zeitpunkt des unter Berücksichtigung der Anmeldung vom 3. November 2005 frühestmöglichen Rentenbeginns am 1. November 2004 (vgl. angefochtener Entscheid S. 16 unten f. E. 6.2) zu veranschlagen und wie dieses zu ermitteln ist. Unbestritten sind hingegen die medizinische Beurteilung der Arbeitsunfähigkeit und die Bestimmung des Invalideneinkommens.
3.1 Die Vorinstanz stützte sich zur Festsetzung des Valideneinkommens auf den Arbeitgeberbericht vom 21./26. Mai 2008 ab, ermittelte aus der Differenz von Fr. 14'420.- zwischen dem dort angegebenen im Jahre 2002 erzielten Lohn von Fr. 73'580.- (monatlich Fr. 5'660.- x 13) und dem ebenfalls aufgeführten hypothetischen Einkommen für das Jahr 2008 von Fr. 88'000.- über die 6 Jahre eine durchschnittliche jährliche Lohnerhöhung von Fr. 2'403.-, und rechnete diese durchschnittliche Lohnerhöhung auf zwei Jahre auf, was für das massgebende Jahr 2004 ein Valideneinkommen von Fr. 78'386.- ergab (Fr. 73'580.- + Fr. 2'403.- + Fr. 2'403.-).
3.2 Der Beschwerdeführer rügt eine unrichtige Rechtsanwendung. Er bringt vor, eine solche Ermittlung des Valideneinkommens sei nicht zulässig. Vielmehr hätten konkrete Abklärungen zur Einkommensentwicklung für das Jahr 2004 durchgeführt werden müssen. Es sei nun auf die von ihm selbst beim Arbeitgeber eingeholte Bestätigung abzustellen.
4. 4.1 Zur Ermittlung des Valideneinkommens ist entscheidend, was die versicherte Person im Zeitpunkt des frühest möglichen Rentenbeginns nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde tatsächlich verdient hätte. Dabei wird in der Regel am zuletzt erzielten, nötigenfalls der Teuerung und der realen Einkommensentwicklung angepassten Verdienst angeknüpft, da es empirischer Erfahrung entspricht, dass die bisherige Tätigkeit ohne Gesundheitsschaden fortgesetzt worden wäre. Ausnahmen müssen mit überwiegender Wahrscheinlichkeit erstellt sein (<ref-ruling> E. 4.3.1 S. 224 mit Hinweisen).
4.2 Wenn die Vorinstanz zur Festsetzung des Valideneinkommens im Jahre 2004 eine über 6 Jahre ermittelte durchschnittliche Lohnerhöhung berücksichtigt hat, ist das im Lichte der gesetzlichen Kognition (vgl. E. 1 hievor) nicht zu beanstanden. Entgegen der Auffassung des Beschwerdeführers bestand für das kantonale Gericht keine Veranlassung, nicht von einer linearen Lohnerhöhung auszugehen, lagen doch für eine besondere Lohnerhöhung in einem bestimmten Jahr, die dem Beschwerdeführer bei Verbleib an der früheren Arbeitsstelle gewährt worden wäre, keinerlei Hinweise in den Akten vor. Vielmehr zeigen die Angaben im Arbeitgeberbericht betreffend die Lohnerhöhung von 2000 auf 2001 (Fr. 260.- monatlich) und von 2001 auf 2002 (Fr. 200.- monatlich), dass eine kontinuierliche Lohnerhöhung gewährt wurde.
4.3 Der Beschwerdeführer reichte erstmals im letztinstanzlichen Verfahren ein Schreiben seines ehemaligen Arbeitgebers, des Ingenieurbüros S._, vom 6. September 2011 ein, worin unter anderem bestätigt wurde, dass ihn der Arbeitgeber bei seinem Weggang sehr gerne als Mitarbeiter behalten hätte und dies zu einem deutlich höheren Einkommen von Fr. 81'000.-; es habe sich nach den zwei schwachen Jahren 2000 und 2001 ohne Lohnanpassungen bei ihm ein gewisser Nachholbedarf ergeben. Zudem hätte man ihn vermehrt für Tätigkeiten mit erhöhten Anforderungen und beruflicher Qualifikation eingesetzt, zum Beispiel für Software-Entwicklungen oder beim Design und Layout von Leiterplatten.
Neue Tatsachen und Beweismittel dürfen indessen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling>), was von der ein Novum einbringenden Partei näher darzulegen ist (Art. 42 Abs. 1 und 2 BGG; vgl. Urteile 9C_465/2011 8C_826/2008 vom 2. April 2009 E. 3; 8C_514/2008 vom 31. März 2009 E. 3), was der Beschwerdeführer unterlassen hat. Es ist auch nicht ersichtlich, inwiefern die Vorinstanz Anlass gegeben hätte, diese Bestätigung einzureichen. Das neu beigebrachte Beweismittel ist daher unzulässig und bleibt vor Bundesgericht unbeachtet (Urteile 9C_465/2011 vom 13. Juni 2012 und 8C_684/2009 vom 23. April 2010 E. 2).
4.4 Die Festsetzung des Valideneinkommens auf Fr. 78'386.- ist deshalb bundesrechtskonform. Im Verhältnis zum unbestrittenen Invalideneinkommen von Fr. 24'393.30 (= 4'065.55 x 12, davon 50%) resultiert ab Mai 2005 ein Invaliditätsgrad (aufgerundet) von 69 %, was Anspruch auf eine Dreiviertelsrente ergibt.
5. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer grundsätzlich die Gerichtskosten zu tragen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege kann jedoch entsprochen werden, da die hierfür erforderlichen Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG; <ref-ruling> E. 4a S. 202). Es wird indessen ausdrücklich auf <ref-law> hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Antonius Falkner wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Bundesverwaltungsgericht und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Juli 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Helfenstein Franke