Faits : A. Le 10 septembre 2013, A._ a saisi le Tribunal administratif fédéral d'un recours contre la décision rendue le 15 juillet 2013 par l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger. En bref, celui-ci a supprimé le droit de l'assuré à une rente extraordinaire d'invalidité et à une allocation pour impotent à partir du 1er juillet 2013, motif pris de son départ pour l'Espagne en juin 2013. Par arrêt du 1er septembre 2014, le Tribunal administratif fédéral, statuant par un juge unique, a rejeté le recours. B. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler le jugement du 1er septembre 2014 et de renvoyer la cause au Tribunal administratif fédéral pour "jugement à trois juges au moins". Subsidiairement, il requiert la réforme du jugement en ce sens que soit reconnu son droit de recevoir en Espagne la rente extraordinaire d'invalidité et l'allocation pour impotent. Il sollicite également le bénéfice de l'assistance judiciaire. L'Office de l'assurance-invalidité pour les assurés résidant à l'étranger s'est abstenu de répondre au recours, compte tenu de son objet. Le Tribunal administratif fédéral s'est déterminé le 18 février 2015, tandis que l'Office fédéral des assurances sociales y a renoncé.