Faits: A. L._ a obtenu au mois de septembre 2010 une maîtrise en droit (MLaw) en sciences criminelles de l'Université X._. Astreint au service civil, l'intéressé a effectué deux périodes d'affectation qui ont eu lieu du 31 janvier au 19 juin 2011 et du 20 juin 2011 au 27 janvier 2012. Il a perçu au titre des allocations pour perte de gain le montant minimum de 62 fr. par jour prévu pour les personnes qui n'exercent pas d'activité lucrative avant d'entrer en service. Le 28 mai 2011, il a sollicité auprès de la Caisse de compensation du canton de Berne (ci-après: la caisse de compensation) la reconsidération de son statut en demandant à être assimilé à une personne exerçant une activité lucrative. A l'appui de sa requête, il a notamment produit une attestation de la fromagerie Y._, certifiant une possibilité d'engagement dès janvier 2011 pour une période indéterminée. Par décision du 10 novembre 2011, confirmée sur opposition le 22 février 2012, la caisse de compensation a rejeté la demande de reconsidération et confirmé le montant de 62 fr. alloué par jour de service. B. L._ a déféré la décision sur opposition du 22 février 2012 devant la Cour des affaires de langue française du Tribunal administratif du canton de Berne, en concluant à l'adaptation du montant de ses allocations pour perte de gain " avec effet rétroactif au 26 juin 2011". Par jugement du 30 novembre 2012, la juridiction cantonale a rejeté le recours. C. L._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut principalement à la condamnation de la caisse de compensation au paiement de la somme de 12'470 fr. avec intérêt à 5 % dès le 26 juin 2011 et subsidiairement au renvoi de la cause à la juridiction de première instance pour instruction complémentaire et nouvelle décision.