Faits:
A. X._, ressortissant de Bosnie et Herzégovine né en 1984, et Y._, compatriote née en 1986, se sont mariés en Bosnie et Herzégovine le 23 juillet 2007.
Le 16 août 2007, X._ a déposé une demande de visa pour la Suisse, afin d'y rejoindre son épouse, titulaire d'une autorisation d'établissement. L'intéressé est arrivé en Suisse le 19 mars 2008 et a obtenu, en date du 21 avril 2008, une autorisation de séjour octroyée au titre du regroupement familial.
Les époux XY._ ont eu une fille, prénommée A._, née en 2009.
Y._ a obtenu la nationalité suisse par décision de naturalisation du 12 mai 2010. La fille des époux XY._ possède également la nationalité suisse.
Par courrier du 13 août 2010, Y._ a informé le Service de la population du canton de Vaud que son mari avait quitté le domicile conjugal le 2 juillet 2010. Elle a ajouté que son époux s'était apparemment marié avec elle uniquement dans le but d'obtenir une autorisation de séjour en Suisse, raison pour laquelle elle avait intenté une action en divorce.
La séparation des époux XY._ a été réglée par convention du 17 septembre 2010, ratifiée par le président du Tribunal d'arrondissement de la Broye et du Nord vaudois pour valoir prononcé de mesures protectrices de l'union conjugale. Aux termes de cette convention, l'exercice du droit de visite de X._ sur sa fille a été réglé comme suit:
"(...)" IV. Dans un premier temps, X._ exercera son droit de visite sur sa fille A._, née en 2009, chaque semaine, alternativement le samedi et le dimanche, de 10h00 à 18h00, la première fois le samedi 25 septembre 2010. Dès que X._ aura trouvé un logement convenable, le droit de visite sera élargi du samedi à 15h00 au dimanche à 18h00, un week-end sur deux. (...)".
Le 22 octobre 2010, X._ a été entendu par la police cantonale vaudoise dans le cadre d'une enquête administrative. Il ressort de son audition qu'il a été sans travail depuis janvier 2010, qu'il a perçu des indemnités de l'assurance chômage sur la base d'un gain assuré de 3'500 fr. et qu'il a été astreint au versement d'une contribution d'entretien en faveur de sa fille de 500 fr. par mois. Le rapport de police indique que l'intéressé semble sincère quant à sa relation avec son épouse et à l'affection qu'il porte à sa fille. En revanche, il souligne que X._ ne paraît pas être intégré et qu'il parle très mal le français. Il y est encore relevé que l'intéressé est inconnu de l'Office des poursuites du district du Jura - Nord vaudois et que son comportement n'a pas attiré l'attention des différents services de police.
Par courrier du 24 février 2011, le Service de la population a informé X._ qu'il avait l'intention de refuser le renouvellement de son autorisation de séjour, compte tenu de la procédure de divorce engagée par son épouse, du fait qu'il n'entretient pas un contact régulier avec sa fille, de ses faibles connaissances de la langue française et de son manque de stabilité professionnelle.
Dans le cadre de la procédure de divorce, les époux XY._ ont conclu une convention prévoyant ce qui suit:
"I. L'autorité parentale sur l'enfant A._, née en 2009, est attribuée à Y._.
II. X._ aura sa fille A._ auprès de lui, à charge pour lui d'aller la chercher et de la ramener au lieu de travail de Y._, un jour par semaine, le samedi, puis la semaine suivante, le dimanche:
- de 14 heures à 15 heures jusqu'au 31 mai 2011;
- de 14 heures à 16 heures, du 1er au 30 juin 2011;
- de 14 heures à 17 heures dès le 1er juillet 2011.
III. X._ contribuera à l'entretien de sa fille par le versement d'une pension mensuelle, payable d'avance le 1er de chaque mois à Y._ dès jugement de divorce définitif et exécutoire, allocations familiales en plus, de:
- 525 fr. jusqu'à l'âge de 6 ans révolus;
- 600 fr. dès lors et jusqu'à l'âge de 10 ans révolus;
- 650 fr. dès lors et jusqu'à l'âge de 16 ans révolus;
- 700 fr. dès lors et jusqu'à la majorité et, au-delà, jusqu'à l'achèvement de la formation professionnelle, aux conditions de l'article 277 alinéa 2 CC.
IV. La pension fixée sous chiffre III ci-dessus, qui correspond à l'indice des prix à la consommation d'avril 2011, sera indexée le 1er janvier de chaque année, la première fois le 1er janvier 2012, sur la base de l'indice du mois de novembre précédent, à moins que X._ n'établisse que ses revenus n'ont pas augmenté, ou qu'ils ont augmenté dans une mesure inférieure à l'indice des prix, cas dans lequel la pension sera indexée proportionnellement.
V. Chaque partie renonce à toute rente ou pension pour elle-même.
(...)".
B. Par décision du 18 mai 2011, le Service de la population a refusé de prolonger l'autorisation de séjour de X._ et lui a imparti un délai de trois mois pour quitter la Suisse.

Le 14 juin 2011, X._, agissant par l'entremise de son conseil, s'est adressé au Service de la population afin qu'il reconsidère sa décision. Il a indiqué être employé, depuis le 2 mai 2011, par la société B._ SA et avoir travaillé jusqu'à la fin du mois d'avril 2011 pour le compte de la fromagerie C._ SA. S'agissant de son droit de visite, il a reconnu ne pas l'avoir exercé de manière régulière, son épouse ne cessant d'y mettre des embûches. Il a relevé que la situation s'était toutefois quelque peu améliorée depuis quelques semaines et qu'il voyait sa fille un jour par semaine, alternativement le samedi ou le dimanche, au vu de son jeune âge.
Le 20 juin 2011, le Service de la population a informé X._ qu'il maintenait sa décision du 18 mai 2011.
Saisi d'un recours contre cette décision, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) l'a rejeté par arrêt du 14 décembre 2011, rendu après avoir procédé à une instruction complémentaire.
C. A l'encontre de cet arrêt, X._ interjette un recours en matière de droit public auprès du Tribunal fédéral. Il conclut, principalement, à ce que son permis de séjour ne soit pas révoqué et à ce que son droit de demeurer sur le sol suisse soit reconnu et, subsidiairement, au renvoi de la cause à l'instance précédente pour nouvelle décision, le tout sous suite de frais et dépens. A titre préalable, il demande que son recours soit doté de l'effet suspensif et requiert le bénéfice de l'assistance judiciaire.
Le Service de la population et le Tribunal cantonal renoncent à se déterminer sur le recours, alors que l'Office fédéral des migrations conclut à son rejet.
Par ordonnance du Président de la IIe Cour de droit public du 18 janvier 2012, l'effet suspensif a été accordé.
Considérant en droit:
1. 1.1 Dans la mesure où le recourant se prévaut, de manière soutenable, de l'art. 50 al. 1 let. b de la loi fédérale sur les étrangers du 16 décembre 2005 (LEtr; RS 142.20), ainsi que de l'art. 8 CEDH, dans le but de pouvoir exercer son droit de visite à l'égard de sa fille, de nationalité suisse, le recours est recevable sous l'angle de l'art. 83 let. c ch. 2 LTF, puisque les dispositions invoquées sont de nature à fonder son droit à une autorisation de séjour. De ce point de vue, le recours en matière de droit public est recevable.
1.2 Le recourant invoque l'art. 83 al. 3 LEtr relatif au renvoi des étrangers. Le contentieux y relatif ne peut toutefois pas faire l'objet d'un recours en matière de droit public (art. 83 let. c ch. 4 LTF), mais uniquement d'un recours constitutionnel subsidiaire, lequel doit répondre à des exigences de motivation spécifiques (<ref-law> avec renvoi à l'<ref-law>), lesquelles ne sont pas remplies en la cause. Dans cette mesure, le recours est donc irrecevable.
1.3 Le recourant conclut à ce que son autorisation de séjour ne soit pas révoquée. C'est ignorer que cette dernière n'a pas été révoquée, mais qu'elle a pris fin à son terme, l'autorité ayant renoncé à la renouveler. Telle que formulée, la conclusion en question est donc irrecevable. Toutefois, on peut inférer de la motivation du recours que X._ requiert en définitive l'octroi d'une nouvelle autorisation, ce qui permet d'entrer en matière sur son écriture.
2. Dans un premier moyen, le recourant discute des faits retenus par le Tribunal cantonal comme il aurait pu le faire devant une cour d'appel. Il perd de vue ce faisant que le Tribunal fédéral est lié par l'état de fait établi par la dernière instance cantonale (art. 99 al. 1 et 105 al. 1 LTF), dans la mesure où le recourant n'établit pas que les faits en question ont été retenus de manière manifestement inexacte - c'est-à-dire arbitraire (<ref-ruling> consid. 7.1 p. 398) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). Une telle démonstration doit répondre aux exigences de motivation accrues de l'<ref-law>. Tel n'est pas le cas en l'espèce, de sorte que les critiques relatives à l'établissement des faits sont irrecevables. Le Tribunal fédéral vérifiera donc l'application du droit à laquelle le Tribunal cantonal a procédé sur la base des seuls faits retenus par cette instance.
3. C'est en vain que le recourant se plaint de violation des art. 50 al. 1 let. b LEtr et 8 CEDH, en critiquant en particulier la pesée des intérêts à laquelle le Tribunal cantonal a procédé. En effet, l'autorité précédente a exposé de manière correcte les mécanismes régissant les normes invoquées et il suffit de renvoyer sur ce point à l'arrêt entrepris (cf. <ref-law>). En particulier, pour pouvoir demeurer en Suisse en se fondant sur les relations entretenues avec son enfant habilité à y résider - ce qui est le cas en l'espèce de l'enfant A._ qui est de nationalité suisse -, le parent disposant d'un droit de visite doit établir des liens familiaux particulièrement forts dans les domaines affectif et économique (<ref-ruling> consid. 3c p. 5). A défaut, l'intérêt public réservé par l'art. 8 par. 2 CEDH autorise l'Etat d'accueil à mener une politique restrictive en matière de séjour des étrangers (<ref-ruling> consid. 2.2 p. 147) et donc à refuser d'octroyer une autorisation de séjour fondée sur cette norme. Or, comme l'a relevé la Cour cantonale, le droit de visite n'est en l'espèce pas organisé selon des modalités très larges, mais se trouve au contraire en-deçà de ce qui est usuel en la matière. Les conditions donnant droit à une autorisation fondée sur le regroupement familial déduit de l'art. 8 CEDH ne sont donc pas remplies. Le fait que certaines déclarations de la mère, manifestement désireuse de voir son conjoint quitter le pays, doivent effectivement être appréhendées avec une certaine prudence, ne change rien à ce constat. Il conviendra donc que le recourant exerce son droit depuis l'étranger, ce qui est encore compatible avec les exigences de l'art. 8 CEDH. La pesée des intérêts imposée par l'art. 50 al. 1 let. b et al. 2 LEtr en relation avec l'art. 96 LEtr n'aboutit pas à un autre résultat.
4. Manifestement mal fondé, le recours doit être rejeté dans la limite de sa recevabilité.
Succombant, le recourant supportera les frais judiciaires (cf. <ref-law>). Son recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire est rejetée (cf. <ref-law>), les frais judiciaires étant toutefois fixés en tenant compte de sa situation économique.

Par ces motifs, le Tribunal fédéral prononce:
1. La requête d'assistance judiciaire est rejetée.
2. En tant que recevable, le recours est rejeté.
3. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 19 juin 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin