Faits :
A.
A.A._ est domicilié dans le canton de Vaud. Dans sa déclaration d'impôt pour la période fiscale 2016, il a fait valoir des déductions pour personnes à charge en lien avec son frère B.A._, né en 1995, domicilié dans le canton de Vaud, pour un montant de 6'400 fr., et en lien avec chacun de ses parents, domiciliés au Maroc, à hauteur de respectivement 1'115 fr. et 5'100 francs.
B.
Par décision de taxation du 25 septembre 2017, l'Office d'impôt des districts de Lausanne et de l'Ouest lausannois a refusé ces déductions et fixé le revenu imposable de A.A._ à 73'500 fr. pour l'impôt cantonal et communal et à 73'800 fr. pour l'impôt fédéral direct. Statuant sur la réclamation formée par le contribuable à l'encontre de cette décision, l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) l'a rejetée par décision sur réclamation du 27 janvier 2020. Contre cette décision, A.A._ a recouru auprès du Tribunal cantonal, Cour de droit administratif et public, du canton de Vaud (ci-après: le Tribunal cantonal), contestant toutefois désormais uniquement le refus de l'Administration cantonale de lui accorder la déduction revendiquée en lien avec l'aide apportée à son frère.
Par arrêt du 16 juillet 2020, le Tribunal cantonal a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, A.A._ demande au Tribunal fédéral de réformer l'arrêt du Tribunal cantonal du 16 juillet 2020, d'admettre une déduction de 5'885 fr. 10 de son revenu pour la période fiscale 2016, tant s'agissant de l'impôt fédéral direct que de l'impôt cantonal et communal, et de renvoyer la cause à l'autorité de taxation pour nouveaux bordereaux d'impôt. Il demande en outre la production d'une pièce produite devant le Tribunal cantonal.
Le Tribunal cantonal s'en tient à son arrêt. L'Administration cantonale conclut au rejet du recours. L'Administration fédérale se rallie à l'arrêt attaqué et conclut au rejet du recours.

Considérant en droit :
1.
1.1. Le recours est dirigé contre une décision rendue dans une cause de droit public (cf. <ref-law>), par une autorité judiciaire cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF) sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée, de sorte que la voie du recours en matière de droit public est en principe ouverte (cf. également l'art. 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11] pour cet impôt, ainsi que l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14] s'agissant de l'impôt cantonal et communal).
1.2. Lorsque la décision attaquée comporte plusieurs motivations indépendantes, alternatives ou subsidiaires, toutes suffisantes pour sceller le sort de la cause, la partie recourante doit, sous peine d'irrecevabilité, démontrer que chacune d'elles est contraire au droit (<ref-ruling> consid. 4.1.4; <ref-ruling> consid. 6.3). Le recourant s'est conformé à cette exigence, de sorte que son recours est recevable sous cet angle.
1.3. Alors qu'il demandait la déduction d'un montant de 6'400 fr. devant l'instance précédente, le recourant réduit sa prétention à 5'885 fr. 10 dans la présente procédure, ce qui lui est loisible (cf. <ref-ruling> consid. 4.4.2; <ref-ruling> consid. 1.2).
1.4. Le recours remplit par ailleurs les conditions de l'<ref-law> et a été interjeté en temps utile (<ref-law>) par le destinataire de l'arrêt attaqué, qui a qualité pour recourir (cf. <ref-law>). Il convient donc d'entrer en matière.
2.
Le Tribunal cantonal ayant produit le dossier de la cause conformément à l'<ref-law>, la requête de production de pièce formulée par le recourant est sans objet.
3.
3.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (<ref-law>). Selon l'<ref-law> toutefois, il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (<ref-ruling> consid. 2.4 p. 368; <ref-ruling> consid. 1.3 p. 41).
3.2. Le Tribunal fédéral examine en principe librement la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID, à moins que les dispositions de cette loi fédérale ne laissent une marge de manoeuvre aux cantons, auquel cas le pouvoir d'examen du Tribunal fédéral se limite aux griefs constitutionnels, en particulier à l'arbitraire, pour autant qu'ils aient été invoqués et motivés de manière conforme aux exigences de l'<ref-law> (<ref-ruling> consid. 5.3; <ref-ruling> consid. 2).
4.
4.1. Pour statuer, le Tribunal fédéral se fonde sur les faits établis par l'autorité précédente (cf. <ref-law>). Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6; <ref-ruling> consid. 1.6). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui figure dans l'acte attaqué (<ref-ruling> consid. 5.1 p. 356).
4.2. En l'espèce, le recourant fait valoir que le Tribunal cantonal semble avoir retenu que son frère suivait des études au niveau du master au sein de l'Université de Lausanne, alors qu'il avait apporté des pièces attestant qu'il était en bachelor.
L'arrêt attaqué retient que le frère du recourant suivait "en Suisse un premier cycle d'études" (arrêt attaqué consid. 4b p. 8), ce qui montre que les juges précédents ont bel et bien admis que l'intéressé était, en 2016, en train de suivre une formation au niveau du bachelor. Il n'y a donc pas lieu de s'attarder plus avant sur ce grief. Au demeurant, on voit mal que le fait qu'il soit au stade du bachelor ou du master soit propre à influer sur le résultat de la décision attaquée.
5.
Le litige porte sur le point de savoir si le recourant peut déduire de son revenu imposable pour l'année 2016 un montant de 5'885 fr. 10 pour l'entretien de son frère.
Impôt fédéral direct
6.
En matière d'impôt fédéral direct, la matière est régie à l'<ref-law>. Selon cette disposition, sont déduits du revenu 6'500 fr. pour chaque personne totalement ou partiellement incapable d'exercer une activité lucrative, à l'entretien de laquelle le contribuable pourvoit, à condition que son aide atteigne au moins le montant de la déduction (...).
6.1. Pour qu'un contribuable puisse faire valoir la déduction prévue à l'<ref-law>, la personne qu'il a aidée doit être nécessiteuse pour des raisons objectives indépendantes de sa propre volonté, parce qu'elle est incapable de subvenir à ses besoins en raison d'une incapacité totale ou partielle d'exercer une activité lucrative (arrêt 2C_216/2020 du 24 avril 2020 consid. 2.4.2 et la référence).
Conformément à la lettre claire de l'<ref-law>, la déduction suppose par ailleurs que l'aide fournie atteigne au moins le montant de 6'500 francs. A défaut, aucune déduction, même réduite, n'est accordée, et ce même dans l'hypothèse où les autres conditions d'application de l'<ref-law> seraient remplies (arrêt 2C_686/2018 du 21 janvier 2019 consid. 6.2.3; CHRISTINE JAQUES, in Impôt fédéral direct, Commentaire romand de la loi fédérale sur l'impôt fédéral direct, 2e éd. 2017, n° 44 ad <ref-law>; PETER LOCHER, Kommentar zum DBG, I. Teil, 2e éd. 2019, n° 50 ad art. 35 DBG; RICHNER/FREI/KAUFMANN/MEUTER, Handkommentar zum DBG, 3e éd. 2016, n° 52 ad art. 35 DBG; cf. aussi la Circulaire n° 30 du 21 décembre 2010 de l'Administration fédérale des contributions sur l'imposition des époux et de la famille selon la loi fédérale sur l'impôt fédéral direct, ch. 11).
6.2. En droit fiscal, le principe de l'<ref-law> s'applique, en ce sens qu'il appartient à l'autorité de démontrer l'existence d'éléments créant ou augmentant la charge fiscale, alors qu'il incombe au contribuable d'apporter la preuve des faits de nature à réduire ou éteindre son obligation fiscale (cf. <ref-ruling> consid. 7.2; <ref-ruling> consid. 3.5). En vertu de ces règles, il incombe au contribuable qui entend faire valoir la déduction prévue à l'<ref-law> d'apporter la preuve que les conditions prévues par cette disposition sont remplies.
6.3. En l'espèce, le Tribunal cantonal a jugé que le recourant ne pouvait pas se prévaloir de la déduction prévue à l'<ref-law>, sur la base d'une double motivation. En premier lieu, il a estimé, en substance, que le frère du recourant ne se trouvait pas dans une situation d'indigence objective, dès lors qu'il avait librement choisi de venir faire des études en Suisse. En second lieu, il a retenu que le recourant n'avait prouvé la fourniture de prestations financières à son frère qu'à hauteur de 2'285 fr.10, ce qui était inférieur au seuil de 6'500 fr. prévu à l'<ref-law>.
A l'encontre de l'arrêt attaqué, le recourant soutient que son frère se trouve bien dans une situation d'indigence au sens de l'<ref-law> et qu'il lui a par ailleurs fourni une aide représentant un montant total de 5'885 fr. 10.
6.4. Il ressort de l'arrêt attaqué que les juges précédents n'ont pas tenu pour établi l'existence d'une autre aide que celle, financière, à hauteur de 2'285 fr. 10.
S'agissant du montant de l'aide, le recourant allègue qu'hormis ce montant de 2'285 fr. 10, il a aussi soutenu son frère en 2016 en mettant gratuitement à sa disposition une chambre de son appartement, ce qui a correspondu à une aide de 3'600 francs. Il indique avoir apporté la preuve de cette aide aux juges précédents en produisant une pièce à ce sujet dans son recours au Tribunal cantonal. Il s'agit du contrat de bail à loyer qu'il a conclu pour son appartement de 2.5 pièces.
6.4.1. Devant le Tribunal fédéral, l'appréciation des preuves faite par l'instance précédente ne peut être remise en cause que sous l'angle de l'arbitraire (art. 9 Cst.). Selon la jurisprudence, il n'y a arbitraire dans l'appréciation des preuves que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (cf. <ref-ruling> consid. 3.6.2; <ref-ruling> consid. 6; <ref-ruling> consid. 2.3). Il incombe au recourant de démontrer en quoi ces conditions sont réunies (cf. <ref-law>; supra consid. 3.1). Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'appréciation des preuves (<ref-ruling> consid. 6.3; <ref-ruling> consid. 2.3; <ref-ruling> consid. 4.1.2).
6.4.2. En l'occurrence, le recourant ne fait pas valoir, ni a fortiori ne démontre, que les juges précédents ont apprécié les preuves de manière arbitraire en refusant d'inclure, dans l'aide qu'il a apportée à son frère, une prestation en nature d'une valeur de 3'600 fr., sur la base du seul contrat de bail qu'il a produit devant eux. Il n'explique au surplus pas non plus en quoi la prise en compte de cette aide aurait une incidence sur le sort du recours. En effet, à cet égard, et comme le relève pertinemment l'Administration cantonale, même si l'on devait ajouter un montant de 3'600 fr. au montant de 2'285 fr.10 admis, l'aide totale apportée de 5'885 fr.10 n'atteindrait toujours pas le seuil de 6'500 fr. requis à l'<ref-law>.
6.5. Dès lors que les juges précédents ont retenu sans arbitraire que le recourant n'avait pas prouvé avoir apporté une aide à son frère atteignant 6'500 fr., le recourant ne peut pas se prévaloir de l'<ref-law> (consid. 6.2), sans qu'il soit nécessaire d'examiner si le frère du recourant était incapable d'exercer une activité lucrative au sens de cette disposition. Il en découle que les juges précédents n'ont pas violé le droit fédéral en refusant toute déduction au recourant en lien avec l'entretien de son frère. Le recours est partant rejeté s'agissant de l'impôt fédéral direct.
Impôt cantonal et communal
7.
Les déductions sociales ne sont pas harmonisées et sont donc du seul ressort des cantons (cf. <ref-law>; arrêt 2C_216/2020 du 24 avril 2020 consid. 3.2). Le Tribunal fédéral ne revoit donc l'application du droit cantonal dans ce domaine que dans la mesure des griefs constitutionnels invoqués, et en particulier l'arbitraire (arrêts 2C_686/2018 du 21 janvier 2019 consid. 6.2; 2C_331/2009 du 14 octobre 2009 consid. 3; supra consid. 3.2).
7.1. Dans le canton de Vaud, la matière est régie à l'art. 40 al. 1 de la loi vaudoise sur les impôts directs cantonaux du 4 juillet 2000 (LI; RS/VD 642.11). Selon cette disposition, une déduction de 2'900 fr. est accordée au contribuable qui pourvoit à l'entretien d'une personne incapable de subvenir seule à ses besoins, pour autant que l'aide atteigne au moins ce montant et qu'aucun abattement ne soit accordé en application des articles 37, alinéa 1, lettre c et 43 LI.
Dans l'arrêt attaqué, le Tribunal cantonal précise que le montant de cette déduction a été indexé à 3'200 fr. en 2014, ce que le recourant ne remet pas en question.
7.2. En l'occurrence, le Tribunal cantonal a refusé la déduction revendiquée par le recourant sur la base de la même double motivation qu'en matière d'impôt fédéral direct (cf. supra consid. 6.3). Il a ainsi estimé que le frère du recourant ne se trouvait pas dans une situation d'indigence objective et que le recourant n'avait prouvé la fourniture de prestations financières à son frère qu'à hauteur de 2'285 fr.10, ce qui était inférieur au seuil de 3'200 fr. prévu en droit cantonal pour l'année 2016.
7.3. Le Tribunal cantonal a constaté sans arbitraire que l'aide apportée par le recourant à son frère s'élevait à 2'285 fr. 10 et celui-ci ne démontre pas l'arbitraire dans le refus de prendre en compte une prestation en nature de 3'600 fr. sur la base du seul contrat de bail produit (cf. supra consid. 6.4.2). Par ailleurs, le recourant n'invoque aucun grief constitutionnel à l'encontre de la manière dont les juges précédents ont appliqué l'art. 40 al. 1 LI. Il ne soutient en particulier pas qu'ils auraient appliqué arbitrairement cette disposition en lui refusant toute déduction au motif que l'aide fournie à son frère n'atteignait pas le seuil requis.
7.4. Dans ces circonstances, le recours ne peut qu'être rejeté s'agissant de l'impôt cantonal et communal également.
8.
Au vu de l'issue du recours, les frais judiciaires sont mis à la charge du recourant, qui succombe (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté s'agissant de l'impôt fédéral direct.
2.
Le recours est rejeté s'agissant de l'impôt cantonal et communal.
3.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, à l'Administration cantonale des impôts du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Administration fédérale des contributions Division principale DAT.
Lausanne, le 16 mars 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens