Faits: A. Par ordonnance de mesures provisionnelles du 29 octobre 2013, rendue dans le cadre de la procédure de divorce des époux A.X._ et B.X._, le Président du Tribunal civil de l'arrondissement de la Sarine a notamment condamné l'époux au versement d'une pension mensuelle de 750 fr. pour l'entretien de l'enfant C._. B. Le 29 novembre 2013, l'époux a fait appel de ce jugement, concluant à ce que la contribution d'entretien soit fixée à 100 fr. par mois. Par courrier du 2 décembre 2013, il a requis le bénéfice de l'assistance judiciaire pour la procédure d'appel, exposant que sa situation financière était précaire, et renvoyant pour le surplus l'autorité d'appel aux pièces figurant dans le dossier. Par arrêt du 12 décembre 2013, la Ie Cour d'appel civil du Tribunal cantonal du canton de Fribourg (ci-après: la Ie Cour d'appel civil) a rejeté la requête. C. Par acte du 15 janvier 2014, A.X._ dépose un " recours constitutionnel " au Tribunal fédéral. Il conclut principalement à la réforme de l'arrêt entrepris en ce sens que l'assistance judiciaire lui est accordée pour la procédure d'appel; subsidiairement, il conclut à l'annulation de l'arrêt et au renvoi de la cause à l'autorité cantonale pour instruction et nouvelle décision au sens des considérants. Il requiert en outre l'assistance judiciaire pour la procédure fédérale. Des réponses n'ont pas été requises.