Fatti: A. B.B._ si è trasferita nel nostro Paese nel 1995 dalla Serbia. Dopo avere beneficiato di un permesso di dimora e di un permesso di domicilio, nel 2011 è diventata cittadina svizzera. B.B._ è madre di una bambina nata nel novembre 2012 (C.B._). Nel febbraio 2013 si è sposata in Serbia con il cittadino serbo A._ e nel luglio 2014 ha dato alla luce un secondo figlio (D._). B. Nell'ottobre 2013 il coniuge di B.B._, A._, ha domandato il rilascio di un permesso di dimora a titolo di ricongiungimento familiare. Con decisione del 9 dicembre 2013, la Sezione della popolazione del Dipartimento delle istituzioni del Cantone Ticino ha tuttavia respinto tale richiesta. Essa ha infatti rilevato che sua moglie non dispone di mezzi finanziari sufficienti e beneficia dell'aiuto sociale e che un arrivo in Svizzera di A._ comporterebbe pertanto un ulteriore aumento dell'erogazione di aiuti sociali. Su ricorso di A._, la decisione della Sezione della popolazione è stata confermata sia dal Consiglio di Stato che dal Tribunale cantonale amministrativo, pronunciatosi in merito con sentenza del 3 febbraio 2015. C. Il 27 marzo 2015, A._ ha inoltrato un ricorso in materia di diritto pubblico al Tribunale federale con cui, in riforma del giudizio reso dal Tribunale cantonale amministrativo, chiede che la decisione del Consiglio di Stato venga annullata e l'incarto retrocesso alla Sezione della popolazione, affinché gli rilasci un permesso di dimora. Postula inoltre l'assistenza giudiziaria. La Corte cantonale si è riconfermata nelle motivazioni e nelle conclusioni della propria sentenza. Ad essa hanno fatto in sostanza rinvio anche la Sezione della popolazione e la Segreteria di Stato della migrazione. Il Consiglio di Stato si è invece rimesso al giudizio di questa Corte.