A.- Ressortissant libanais né le 1er janvier 1973, DF._ est entré en Suisse le 6 juin 1997 et a déposé une première demande d'asile sous la fausse identité de GK._, d'origine palestinienne. Invité ensuite à se déterminer sur les fausses pièces produites à l'appui de sa demande, DF._ a déposé, le 8 septembre 1999, une seconde demande d'asile, cette fois sous sa véritable identité. Par décision du 15 septembre 1999, l'Office fédéral des réfugiés a refusé d'entrer en matière sur cette seconde demande et a retiré l'effet suspensif à un éventuel recours. L'intéressé a recouru contre cette décision et obtenu la restitution de l'effet suspensif. Le 7 février 2000, DF._ a épousé LM._, ressortissante suisse, née le 13 novembre 1949. Il a alors présenté une demande d'autorisation de séjour, puis a retiré le recours qu'il avait formé contre le refus d'entrer en matière de l'Office fédéral des réfugiés. B.- Le 13 mars 2000, DF._ et son épouse ont été entendus séparément par le Contrôle des habitants (Police des étrangers) de la Ville de Sion. Ils ont déclaré de manière entièrement concordante avoir fait connaissance quelque deux ans auparavant et avoir décidé de se marier en août ou septembre 1999 déjà. Tous deux ont aussi nié de façon catégorique que leur mariage ait donné lieu à une contribution financière et qu'il ait eu pour but d'éluder les dispositions légales en matière de police des étrangers. Réentendus par le Contrôle des habitants de la Ville de Sion le 3 juillet 2000, les époux F._ ont notamment déclaré se connaître depuis le 8 avril 1998, "vivre ensemble" depuis près de deux ans et ont confirmé avoir conclu un mariage d'amour. Par décision du 24 mars 2000, le Service de l'Etat civil et des étrangers a rejeté la demande d'autorisation de séjour formée par DF._, au motif que de nombreux indices permettaient de conclure qu'il avait contracté mariage dans le but principal d'éluder les prescriptions sur le séjour et l'établissement des étrangers. Le 10 avril 2000, LF._ a adressé un courrier au Service de l'Etat civil et des étrangers. Elle y conteste cette décision de refus dans les termes les plus vifs, réaffirme que l'entente entre elle et son mari est excellente et qu'ils partagent une vraie vie de couple. Elle explique, entre autres, que si son mari ne connaît pratiquement pas sa famille, c'est que celle-ci ne veut pas entendre parler de lui. C.- Après le rejet de leur recours déposé auprès du Conseil d'Etat, le 13 décembre 2000, les époux F._ se sont adressés au Tribunal cantonal qui, par arrêt du 11 mai 2001, a également rejeté le recours. Reprenant les motifs développés par les autorités inférieures, la juridiction cantonale a considéré qu'il existait un faisceau d'indices pour admettre que le mariage n'avait pas eu pour but de former une véritable union conjugale, à savoir: l'importante différence d'âge entre les époux, la précarité du statut du recourant en Suisse au moment du mariage et sa méconnaissance quasi totale de la famille de sa femme, ainsi que les déclarations de l'intéressé selon lesquelles il espérait pouvoir bientôt obtenir la nationalité suisse grâce à son mariage. D.- Agissant par la voie du recours de droit administratif, LF._ et DF._ concluent, avec suite de frais et dépens, à l'annulation de l'arrêt du Tribunal cantonal du 11 mai 2001, la cause étant renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Par acte séparé du 18 juin 2001, ils ont également présenté une demande d'assistance judiciaire. Le Tribunal cantonal a renoncé à se déterminer et le Conseil d'Etat a conclu au rejet du recours. Au terme de ses observations, le Département fédéral de justice et police propose aussi de rejeter le recours. E.- Par ordonnance présidentielle du 13 juillet 2001, l'effet suspensif a été attribué au recours.