Faits: A. A.a. L._, d'origine espagnole, travaille depuis 1989 en tant que grutier et manoeuvre pour le compte de l'entreprise X._ SA. En raison de douleurs dorsales, il s'est annoncé auprès de l'Office de l'assurance-invalidité du canton de Berne (ci-après: l'office AI) qui l'a mis au bénéfice d'un quart de rente d'invalidité à partir du 1er septembre 1996 compte tenu d'un degré d'invalidité de 40 %, puis d'une demi-rente pour cas pénible dès le 1er janvier 1998 (décisions des 16 août et 10 octobre 2000). A compter du 1er janvier 2004, à la suite d'une procédure de révision, l'assuré s'est vu reconnaître le droit à un trois quarts de rente d'invalidité fondé sur un taux d'incapacité de gain de 60 % (décision du 7 février 2006). A.b. A l'issue d'une nouvelle procédure de révision initiée dans le courant de l'année 2008, l'office AI a, par décision du 23 janvier 2009, supprimé la rente d'invalidité de l'assuré compte tenu d'un degré d'invalidité de 34 % avec effet à la fin du mois suivant la décision. L'assuré n'a pas recouru contre cette décision. A réception des informations transmises par la Sécurité sociale espagnole à la Caisse de compensation du canton de Berne au sujet des périodes d'assurance accomplies par l'assuré dans son pays d'origine, l'office AI a rendu une décision en date du 17 novembre 2009 revoyant le montant de la rente d'invalidité à la hausse compte tenu des périodes de cotisation espagnoles. Il ressortait de cette décision que l'assuré avait droit sur la base d'un degré d'invalidité de 60 % à un trois quarts de rente d'un montant de 1'161 fr. pour la période du 1er octobre 2008 au 31 décembre 2008 et d'un montant de 1'198 fr. à compter du 1er janvier 2009. Un versement de 12'128 fr. devait être effectué pour les rentes déjà échues, soit jusqu'au mois de novembre 2009. Sur la base de cette décision, une rente d'invalidité d'un montant de 1'198 fr. a continué à être versée, chaque mois, au-delà de cette date. A.c. Par décision du 3 octobre 2011, l'office AI a réclamé à l'assuré la restitution d'un montant de 37'327 fr. correspondant aux rentes versées à tort pendant la période du 1er mars 2009 au 30 septembre 2011. Il a indiqué que lors de la décision du 17 novembre 2009, il avait oublié de mettre un terme au versement de la rente d'invalidité à la fin du mois de février 2009 comme le prévoyait pourtant la décision de suppression de rente du 23 janvier 2009. Cette décision n'a pas été contestée par l'assuré. Celui-ci a, en revanche, déposé une demande de remise de l'obligation de restituer que l'office AI a rejetée par décision du 13 février 2012. B. L'assuré a recouru contre cette décision auprès du Tribunal administratif du canton de Berne, Cour des affaires de langue française, en concluant principalement à la remise complète de l'obligation de restituer le montant de 37'327 fr. Dans son mémoire de réponse, l'office AI a proposé l'admission partielle du recours et diminué le montant à restituer à 26'545 fr. Par jugement du 2 avril 2013, le Tribunal cantonal a débouté l'assuré. C. L._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à la remise complète de l'obligation de restituer la somme de 37'327 fr. A titre subsidiaire, il requiert le renvoi de la cause au Tribunal cantonal pour instruction complémentaire et nouvelle décision.