Sachverhalt: A. A._ erlitt 1979 einen Unfall (Sturz vom Dach einer Tennishalle) und zog sich dabei insbesondere Verletzungen an beiden Fussgelenken zu. Am 28. April 2011 meldete er sich bei der IV-Stelle Nidwalden zum Rentenbezug an. Diese führte Abklärungen durch und erliess am 7. Oktober 2011 einen abweisenden Vorbescheid. Aufgrund der dagegen erhobenen Einwände holte sie zunächst ein rheumatologisches und später ein psychiatrisches Gutachten ein, während der Versicherte einen orthopädischen Bericht einreichen liess. Nach Durchführung eines erneuten Vorbescheidverfahrens wies sie das Leistungsbegehren mit Verfügung vom 21. August 2013 ab, da keine Erwerbseinbusse bestehe. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Nidwalden mit Entscheid vom 17. März 2014 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der Entscheid des Verwaltungsgerichts des Kantons Nidwalden sei aufzuheben und es sei ihm eine halbe Invalidenrente zuzusprechen; eventualiter sei die Sache zur Einholung eines Obergutachtens an die Vorinstanz zurückzuweisen.