Faits:
A. Par décision du 5 avril 2005, confirmée les 3 octobre 2007 et 12 octobre 2009, l'Office cantonal AI du Valais (OAI) a mis M._ au bénéfice d'une rente entière d'invalidité dès le 1er avril 2005.
Par jugement du 14 novembre 2008, le Tribunal d'arrondissement de Lausanne a prononcé que l'enfant X._, est la fille de M._, dit que celui-ci doit contribuer à l'entretien de l'enfant par le versement de la rente pour enfant issue de sa rente d'invalidité à partir du 1er avril 2005 et invité la Caisse de compensation AVS à verser cette rente directement en mains de la mère de l'enfant, A._. Le 13 mars 2009, le Tribunal d'arrondissement de Lausanne a attesté l'entrée en force de ce jugement au 27 janvier 2009.
Par décision du 4 août 2009, l'OAI a mis A._ au bénéfice d'une rente pour l'enfant, X._, de 573 fr. par mois dès le 1er avril 2005, de 589 fr. par mois dès le 1er janvier 2007 et de 608 fr. par mois dès le 1er janvier 2009. Cet office a par ailleurs compensé une partie des prestations arriérées avec une créance en restitution de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Cette décision a été notifiée également à M._, père reconnu de l'enfant.
B. Par acte du 7 août 2009, le prénommé a recouru contre cette décision devant le Tribunal cantonal valaisan, Cour des assurances sociales. Il a sollicité le bénéfice de l'assistance judiciaire gratuite.
Statuant le 27 octobre 2009 sur la demande d'assistance judiciaire, la Présidente de la Cour des assurances sociales l'a rejetée.
C. M._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut à ce que l'assistance judiciaire gratuite lui soit accordée devant le Tribunal cantonal de même que devant le Tribunal fédéral. Il requiert également le renvoi de la cause à la Présidente de la Cour des assurances sociales du Tribunal cantonal pour nouvelle décision.

Considérant en droit:
1. Le jugement entrepris a pour seul objet le refus de l'assistance judiciaire. Il s'agit d'une décision incidente de nature procédurale au sens de l'art. 93 LTF qui - abstraction faite de la seconde exception prévue à l'al. 1 let. b, non pertinente en l'espèce - ne peut faire l'objet d'un recours que si elle peut causer un préjudice irréparable (al. 1 let. a; sur la notion de préjudice irréparable, voir <ref-ruling> consid. 3.1 p. 87; <ref-ruling> consid. 3.1 et 2.2 p. 190 s.; <ref-ruling> consid. 5.2.1 p. 483, 645 consid. 2.1 p. 647). En tant qu'il refuse l'assistance judiciaire au recourant pour la procédure cantonale, le jugement entrepris remplit cette exigence (cf. <ref-ruling> consid. 1.1 p. 283, 129 consid. 1.1 p. 131; <ref-ruling> consid. 2a p. 210s; arrêts 2C_18/2007 du 2 juillet 2007 et 9C_8/2007 du 16 octobre 2007). Les autres conditions de recevabilité étant par ailleurs remplies (notamment l'exigence que le litige au fond soit également susceptible d'être déféré au Tribunal fédéral par un recours en matière de droit public, cf. <ref-ruling> consid. 3 p. 144; arrêt 2D_1/2007 du 2 avril 2007, consid. 2.2), il y a lieu d'entrer en matière sur le recours (cf. également arrêts 9C_105/2008 du 23 juin 2008 consid. 1 et 5A_40/2007 du 23 mai 2007 consid. 2 non publié in <ref-ruling>)).
2. 2.1 En matière d'assurance sociale (cf. art. 2 LPGA), le droit à l'assistance judiciaire en procédure cantonale est prévu par l'art. 61 let. f LPGA. Aux termes de cette disposition, le droit de se faire assister par un conseil doit être garanti; lorsque les circonstances le justifient, l'assistance judiciaire gratuite est accordée au recourant. Les conditions d'octroi en sont réalisées si le requérant est indigent, l'assistance d'un conseil d'un avocat est nécessaire ou du moins indiquée et les conclusions du recours ne paraissent pas d'emblée vouées à l'échec (<ref-ruling> consid. 3b p. 205; SVR 2004 AHV n. 5 p. 17 [H 106/03], consid. 2). En particulier, selon la jurisprudence, les conclusions paraissent vouées à l'échec lorsqu'une partie, disposant des moyens nécessaires, ne prendrait pas le risque, après mûre réflexion, d'engager un procès ou de le continuer (<ref-ruling> consid. 2.3.1 p. 135; <ref-ruling> consid. 2.5.3 p. 235).
2.2 La juridiction cantonale a motivé son refus de l'assistance judiciaire comme suit. Elle a considéré que les perspectives pour l'intéressé de gagner le procès ouvert devant elle le 7 août 2009 étaient infimes et en tous les cas notablement plus faibles que les risques de le perdre. Par ailleurs, elle a retenu que l'assuré n'avait aucun intérêt actuel et digne de protection à recourir contre la décision du 4 août 2009 de l'OAI, puisque sa démarche aurait pour effet de le priver de tout droit à une rente complémentaire pour l'enfant (art. 35 LAI) et donc aux prestations faisant l'objet de cette décision. Enfin elle a estimé que la contestation ne revêtait pas le caractère particulièrement ardu auquel le Tribunal fédéral subordonne l'octroi de cette aide.
2.3 Le recourant se contente d'affirmer qu'il a demandé la révision du jugement du 14 novembre 2008 - entré en force - par lequel l'enfant X._ a été reconnue comme sa fille. Ce moyen n'est pas fondé. Comme le relève la Présidente de la Cour des assurances sociales du Tribunal cantonal valaisan, le recourant pourra demander la révision de la décision du 4 août 2009 de l'OAI, voire d'un éventuel jugement sur le fond qui serait rendu par le Tribunal des assurances, si sa demande de révision concernant sa paternité devait aboutir devant le juge civil. Pour le reste et à ce stade, les motifs invoqués par l'autorité cantonale précédente apparaissent fondés. Celle-ci était en droit de refuser l'assistance judiciaire en raison de l'absence de chances de succès du recourant.
3. Manifestement infondé, le recours doit être rejeté selon la procédure simplifiée de l'art. 109 al. 2 let. a LTF. Dans la mesure où le recours était d'emblée voué à l'échec, l'assistance judiciaire ne peut être accordée devant le Tribunal fédéral (art. 64 al. 1 LTF), de sorte que le recourant devra supporter les frais (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 200 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 28 mai 2010
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung Berset