Faits : A. A.a. A._, né en 1966, a travaillé depuis le 7 février 2000 comme ouvrier de construction et notamment comme grutier qualifié au service de la société B._ SA. Le 21 février 2000, il s'est fracturé le radius distal droit ainsi que la tête du radius gauche. A la suite de cet événement, il a bénéficié de prestations de l'assurance-accidents obligatoire. Le 15 juin 2001, A._ a déposé une demande de prestations auprès de l'Office de l'assurance-invalidité (OAI) du canton de Fribourg, laquelle a été refusée par décision du 18 novembre 2002, confirmée sur opposition le 10 septembre 2003. Par jugement du 7 décembre 2004, la Cour des assurances sociales du Tribunal administratif du canton de Fribourg a rejeté le recours formé contre la décision sur opposition. Saisi d'un recours de droit administratif par A._, l'ancien Tribunal fédéral des assurances l'a admis et a renvoyé la cause à l'OAI pour complément d'instruction et nouvelle décision (arrêt I 118/05 du 21 septembre 2006). Afin d'éviter des mesures d'instruction inutiles, il a précisé que l'OAI pourrait se référer à l'expertise médicale dont il avait ordonné la mise en oeuvre à l'assureur-accidents, par arrêt du même jour. A.b. Le 10 septembre 2009, l'assureur-accidents a confié une expertise pluridisciplinaire au centre C._. Sur le plan somatique, les experts ont indiqué que l'assuré était incapable d'exercer son ancienne activité de grutier, tout comme celle d'ouvrier de chantier, ou toute activité physiquement pénible (rapport d'expertise du 25 février 2010). Après avoir accordé à l'assuré une aide au placement, l'OAI a nié le droit de celui-ci à une rente d'invalidité, au motif que le taux d'incapacité de gain (17 %) était insuffisant pour ouvrir droit à une telle prestation (décision du 17 septembre 2012). B. Par jugement du 12 février 2015, la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg a rejeté le recours formé contre la décision de l'OAI du 17 septembre 2012. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation en concluant, sous suite de dépens, à l'octroi d'une rente entière d'invalidité. En outre, il conclut, en lien avec la procédure cantonale, à ce que soient mis à la charge de l'OAI les frais judiciaires, ainsi qu'une équitable indemnité de partie en sa faveur. L'intimé conclut implicitement au rejet du recours. La cour cantonale et l'Office fédéral des assurances sociales ont renoncé à se déterminer.