Sachverhalt:
A. A.a Der 1960 geborene K._, welcher seit Jahren als ausgebildeter Physiotherapeut arbeitet, meldete sich erstmals am 17. März 2005 wegen Beschwerden im Bereich des rechten Armes und Handgelenks zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle des Kantons Graubünden klärte die medizinische und erwerbliche Situation ab und lehnte einen Rentenanspruch mangels leistungsbegründenden Invaliditätsgrades mit Verfügung vom 3. April 2007 ab. Die Abweisung wurde vom Verwaltungsgericht des Kantons Graubünden auf Beschwerde hin bestätigt (Entscheid vom 3. Juli 2007).
A.b Am 8. November 2007 liess K._ wegen einer Verschlechterung der gesundheitlichen Verhältnisse um Neubeurteilung des Rentenanspruchs ersuchen. Mit Verfügung vom 26. März 2008 trat die Verwaltung auf die Neuanmeldung mangels glaubhaft gemachter veränderter Verhältnisse nicht ein. Die dagegen geführte Beschwerde wies das Verwaltungsgericht des Kantons Graubünden ab (Entscheid vom 19. Juni 2008). Das Bundesgericht hiess mit Urteil vom 23. Januar 2009 die Beschwerde in öffentlich-rechtlichen Angelegenheiten gut und wies die Sache an die IV-Stelle zurück, damit sie die Neuanmeldung materiell prüfe (siehe 8C_892/2008).
A.c Die IV-Stelle liess den Versicherten durch Dr. med. H._, Facharzt FMH für Rheumatologie und innere Medizin, begutachten. Gestützt auf die Expertise vom 2. Juni 2009 gelangte sie zur Erkenntnis, der Gesundheitszustand des K._ habe sich zwar seit der ersten Ablehnungsverfügung vom 3. April 2007 verschlechtert, dies wirke sich jedoch auf seine Arbeitsfähigkeit nicht aus. Sie ermittelte bei einem Valideneinkommen für das Jahr 2008 von Fr. 95'769.- und einem zumutbaren Invalideneinkommen von Fr. 64'255.- einen Invaliditätsgrad von 33 % und lehnte das Rentenbegehren mit Verfügung vom 12. Januar 2010 erneut ab.
B. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 23. November 2010 ab.
C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des vorinstanzlichen Entscheides sei ihm ab Mai 2008 eine halbe Invalidenrente zuzusprechen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 2.2.1 S. 389 mit Hinweisen; Urteil 8C_934/2008 vom 17. März 2009 E. 1, nicht publ. in: <ref-ruling>, aber in: SVR 2009 UV Nr. 35 S. 120).
2. Prozessthema bildet die Frage, ob sich der Invaliditätsgrad seit der letzten rechtskräftigen Rentenablehnung (Verfügung vom 3. April 2007) bis zur verfügungsweisen Neuprüfung vom 12. Januar 2010 verändert hat (Art. 87 Abs. 4 in Verbindung mit Abs. 3 IVV; <ref-law>). Nach der Rechtsprechung zum bis Ende 2002 in Kraft gestandenen <ref-law>, heute <ref-law>, hat die Verwaltung in analoger Weise wie bei einem Revisionsfall vorzugehen. Stellt sie fest, dass der Invaliditätsgrad seit Erlass der früheren rechtskräftigen Verfügung keine Änderung erfahren hat, weist sie das neue Gesuch ab. Andernfalls hat sie zunächst zu prüfen, ob die festgestellte Veränderung genügt, um nunmehr eine anspruchsbegründende Invalidität zu bejahen, und hernach entsprechend zu verfügen. Im Beschwerdefall obliegt die gleiche materielle Prüfungspflicht auch dem Gericht (<ref-ruling> E. 3a S. 198 mit Hinweis; siehe zudem <ref-ruling> und 130 V 71). Dabei ist zu beachten, dass Anlass zur Rentenrevision jede wesentliche Änderung in den tatsächlichen Verhältnissen gibt, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Allerdings stellt eine bloss unterschiedliche Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts keine revisionsbegründende Tatsachenänderung dar (<ref-ruling> E. 2b S. 372). Praxisgemäss ist die Invalidenrente aber auch dann revidierbar, wenn sich die erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitszustandes erheblich verändert haben (<ref-ruling> E. 6.1 S. 546, 130 V 343 E. 3.5 S. 349 f. mit Hinweisen). Diese Grundsätze gelten sinngemäss auch im Neuanmeldeverfahren nach <ref-law> (<ref-ruling>).
3. Streitig ist der Anspruch auf eine Invalidenrente. Umstritten ist dabei die zumutbare Arbeitsfähigkeit des Beschwerdeführers in einer seiner gesundheitlichen Beeinträchtigung angepassten Tätigkeit und die Frage, ob sich diese seit der letzten rechtskräftigen Verneinung eines Rentenanspruchs im Juli 2007 in anspruchswesentlicher Weise verändert hat. Darüber hinaus werden sowohl die Höhe des Invalideneinkommens als auch diejenige des Valideneinkommens beanstandet. Für die Bestimmung des ersteren wird insbesondere vorgebracht, es sei dem Beschwerdeführer nicht zumutbar, seine bisherige Tätigkeit als Physiotherapeut und Geschäftsführer einer eigenen Firma zugunsten einer anderen Tätigkeit aufzugeben.
4. Das kantonale Gericht geht davon aus, dass weder das der ersten Ablehnungsverfügung zu Grunde gelegte Valideneinkommen - abgesehen von einer Anpassung an die seither eingetretene Nominallohnentwicklung -, noch das Invalideneinkommen - vorausgesetzt hinsichtlich der zumutbaren Arbeitsfähigkeit sei keine wesentliche Änderung eingetreten - einer Überprüfung zugänglich seien. Bei der materiellen Prüfung des Rentenanspruchs nach einer Neuanmeldung müssten nur neue Tatsachen berücksichtigt werden.
Mit dieser Feststellung hat die Vorinstanz Bundesrecht verletzt. Liegt eine in einem für die Invaliditätsbemessung grundsätzlich massgeblichen Punkt eine erhebliche Änderung des Sachverhalts vor, ist der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht allseitig, d.h. unter Berücksichtigung des gesamten für die Leistungsberechtigung ausschlaggebenden Tatsachenspektrums und ohne Bindung an die ursprüngliche Rentenverfügung, zu prüfen (<ref-ruling> E. 4b S. 200; Urteil I 526/02 vom 27. August 2003 E. 2.3, publ. in: SVR 2004 IV Nr. 17 S. 53; vgl. auch <ref-ruling> E. 3.4 S. 259, 125 V 413 E. 2d S. 417 f.). So konnte im Revisionsverfahren eines Versicherten, dessen Gesundheitszustand sich verschlechtert hatte, auch die Höhe des Valideneinkommens ohne Bindung an die ursprüngliche Verfügung neu festgesetzt werden (Urteil I 652/00 vom 12. März 2002 E. 2a, publ. in: AHI 2002 S. 164).
5. 5.1 Die ursprüngliche Ablehnungsverfügung vom 3. April 2007 beruhte auf dem Gutachten des Dr. med. S._, Facharzt FMH für Physikalische Medizin und Rehabilitation sowie Sportmedizin, vom 19. Mai 2006. Dieser stellte die Diagnosen eines Status nach Epicondylitis lateralis rechts seit 2002 bei einem Status nach Denervation des Epicondylus radialis humeri rechts am 20. August 2004 und einer axonalen Läsion des Ramus superficialis Nervi radialis sowie einer beginnenden Epicondylitis radialis links seit 2005. Diese gesundheitliche Störung wirke sich insofern auf die Arbeitsfähigkeit aus, als es bei manuellen Arbeiten zu Krämpfen und Schmerzen im Bereich des rechten Vorderarmes kommen könne, die Kraft reduziert und die Sensibilität vermindert seien. Die Leistungsfähigkeit in der bisherigen Tätigkeit als Physiotherapeut sei qualitativ um 50 % reduziert. Die IV-Stelle erachtete die Arbeitsfähigkeit des Versicherten in einer angepassten Tätigkeit ohne verstärkten Gebrauch der Hand im Sinne von Krafteinsätzen als nicht reduziert; in derjenigen als Physiotherapeut sei ihm noch eine solche von 50 % zumutbar. Die Invaliditätsbemessung erfolgte mittels statistischer Lohnangaben auf der Basis einer vollzeitlichen Tätigkeit, Niveau 3, bei einem Abzug von 10 %, weil nur noch leichte Tätigkeiten zumutbar seien. Das Verwaltungsgericht des Kantons Graubünden schützte in seinem Entscheid vom 3. Juli 2007 diese Einschätzung.
5.2 In Nachachtung des Urteils des Bundesgerichts vom 23. Januar 2009, wonach die Neuanmeldung des Beschwerdeführers materiell zu prüfen sei, veranlasste die IV-Stelle eine Begutachtung durch den Rheumatologen Dr. med. H._. Die Vorinstanz stützt sich auf dessen Expertise vom 2. Juni 2009. Demnach hat sich der Gesundheitszustand seit der Denervationsoperation nach Hohmann/Wilhelm im Ellenbogen links am 10. November 2006 insofern verschlechtert, als sich seither ein Kompressionssyndrom des Ramus superficialis des Nervus radialis auch links entwickelte. Wie dargelegt, wurde der Gesundheitsschaden am linken Arm bei der Beurteilung über die Auswirkungen auf die Arbeitsfähigkeit durch Dr. med. S._ in seinem Gutachten vom 19. Mai 2006 noch nicht berücksichtigt. Seit Erlass der ersten Ablehnungsverfügung liegen somit veränderte medizinische Verhältnisse vor. Hinsichtlich der Auswirkungen der gesundheitlichen Beeinträchtigungen auf die Arbeitsfähigkeit führt Dr. med. H._ aus, seit der Operation im Dezember 2006 betrage die Arbeitsfähigkeit im angestammten Beruf 50 %. In einer den Beeinträchtigungen angepassten Tätigkeit im Sinne von leichten Überwachungsarbeiten wäre der Beschwerdeführer nach Dr. med. H._ uneingeschränkt arbeitsfähig. Eine Bürotätigkeit mit Arbeiten am Computer sei hingegen nicht möglich.
5.3 In Würdigung des Gutachtens H._ stellt die Vorinstanz fest, die Einschätzung der zumutbaren Arbeitsfähigkeit habe sich trotz verschlechtertem Gesundheitszustand gegenüber derjenigen, auf welcher die Verfügung vom 3. April 2007 beruhte, nicht verändert. Die gesundheitlichen Beeinträchtigungen im linken Arm wirkten sich demnach am 12. Januar 2010 auf die Arbeits- und Erwerbsfähigkeit des Beschwerdeführers nicht anders aus als am 3. April 2007. Dies werde auch durch die Tatsache gestützt, dass dieser in unveränderter Stellung als Physiotherapeut tätig sei.
5.4 Die Einwendungen des Beschwerdeführers vermögen nicht zu einer anderen Beurteilung zu führen. Zusammenfassend verneint er die Zumutbarkeit eines Berufswechsels in eine Verweisungstätigkeit, und legt dar, dass das Valideneinkommen seines Erachtens zu tief und das Invalideneinkommen zu hoch bemessen worden seien. Diese Fragen stellen sich hingegen in revisionsrechtlicher Hinsicht (vgl. Erwägung 2) gar nicht, wenn, wie die Vorinstanz in rechtlich einwandfreier Art und für das Bundesgericht letztlich verbindlich festgestellt hat, die Auswirkungen eines an sich veränderten Gesundheitszustandes auf die Arbeitsfähigkeit gleich geblieben sind. Der Beschwerdeführer kritisiert diese vorinstanzliche Würdigung des Sachverhalts nicht und es ist auch nicht ersichtlich, inwiefern das kantonale Gericht damit Bundesrecht verletzt haben sollte.
Da sich hinsichtlich der Arbeitsfähigkeit in der angestammten wie auch in einer angepassten zumutbaren Tätigkeit keine wesentliche Änderung gegenüber der letzten rechtskräftigen Ablehnung eines Rentenanspruchs ergeben hat, erübrigt sich ein Einkommensvergleich und die Bestimmung eines Invaliditätsgrades. Sowohl Dr. med. S._ als auch Dr. med. H._ erachten in ihren Gutachten vom 19. Mai 2006 beziehungsweise vom 2. Juni 2009 eine vollzeitliche Erwerbstätigkeit in einer die Arme schonenden Arbeit für zumutbar. Damit ist in erwerblicher Hinsicht seit der urspünglichen Rentenablehnung keine Änderung eingetreten. Der Anspruch auf eine Rente der Invalidenversicherung wurde zu Recht verneint.
6. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. Mai 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Schüpfer