Faits :
A.
Par décision du 12 août 2020, confirmée sur opposition le 2 décembre 2020, la Caisse cantonale genevoise de chômage a refusé à A._ le droit à une indemnité de chômage à compter du 13 juillet 2020, faute d'une période de cotisation suffisante durant les deux années précédentes ou d'un motif de libération de l'obligation de cotiser.
B.
L'intéressé a recouru contre la décision sur opposition auprès de la Chambre des assurances sociales de la Cour de justice de la République et canton de Genève. Il a assorti son recours d'une demande de "restitution de l'effet suspensif". Considérant que ladite demande correspondait à une demande de mesures provisionnelles tendant au versement d'indemnités de chômage sans attendre qu'il soit statué au fond, la cour cantonale a, par arrêt incident du 25 mars 2021, rejeté cette demande de mesures provisionnelles.
C.
A._ interjette un recours en matière de droit public contre cet arrêt incident, en concluant à sa réforme en ce sens que la "restitution de l'effet suspensif" à son recours cantonal soit ordonnée. Il sollicite également le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
1.1. Le Tribunal fédéral examine d'office (<ref-law>) et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1; <ref-ruling> consid. 1).
1.2. Le recours en matière de droit public (<ref-law>) est recevable contre les décisions qui mettent fin à la procédure (<ref-law>), ainsi que contre les décisions préjudicielles et incidentes qui sont notifiées séparément et qui portent sur la compétence ou sur une demande de récusation (<ref-law>). Selon l'<ref-law>, les autres décisions préjudicielles et incidentes notifiées séparément peuvent faire l'objet d'un recours si elles peuvent causer un préjudice irréparable (let. a) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b).
1.3. L'arrêt incident attaqué, qui porte sur l'octroi de mesures provisionnelles au recours cantonal formé contre la décision sur opposition du 2 décembre 2020, est une décision incidente au sens de l'<ref-law>. Aussi le recours n'est-il admissible qu'aux conditions posées à l'art. 93 al. 1 let. a et b LTF.
2.
2.1. Lorsqu'il n'est pas manifeste que l'une des conditions (alternatives) d'entrée en matière prévues à l'art. 93 al. 1 let. a et b LTF est remplie, il appartient au recourant d'alléguer mais aussi d'établir la possibilité que la décision incidente lui cause un préjudice irréparable ou que l'admission du recours conduise immédiatement à une décision finale, faute de quoi le recours est déclaré irrecevable (<ref-ruling> consid. 1.2; <ref-ruling> consid. 2.2).
2.2. L'arrêt incident entrepris portant sur des mesures provisionnelles, seule peut en outre être invoquée devant le Tribunal fédéral la violation de droits constitutionnels (<ref-law>). Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés conformément au principe d'allégation (<ref-law>), à savoir expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.5; <ref-ruling> consid. 2.2).
3.
3.1. En l'occurrence, le recourant soutient pour l'essentiel que l'arrêt incident attaqué serait susceptible de lui causer un préjudice irréparable, en violation du principe de l'interdiction de l'arbitraire ainsi que de son droit "au travail" et à la "protection contre le chômage (art. 23 al. 2 de la Déclaration universelle des droits de l'homme) ", dès lors que la juridiction cantonale n'aurait pas pris en compte son intérêt à pouvoir bénéficier des "mesures d'insertion professionnelle" de la LACI (RS 837.0) durant la procédure de recours.
3.2. Pour autant que le recourant se réfère aux mesures relatives au marché du travail (<ref-law>), le droit de bénéficier de telles mesures est exorbitant à l'objet de la contestation, qui est limité à l'octroi d'indemnités de chômage (<ref-law>) tant au fond que sur le plan des mesures provisionnelles. Pour le reste, le recourant n'expose pas, en formulant des griefs clairs et précis, en quoi le non-versement d'indemnités de chômage dans l'attente d'une décision cantonale au fond lui causerait un préjudice irréparable, en violation d'un droit constitutionnel.
3.3. Par conséquent, le recours doit être déclaré irrecevable selon la procédure simplifiée prévue par l'<ref-law>.
4.
Au regard des circonstances, il sera exceptionnellement renoncé à percevoir des frais judiciaires (<ref-law>). La demande d'assistance judiciaire est ainsi sans objet.

Par ces motifs, le Juge unique prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est sans objet.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué aux parties, à la Chambre des assurances sociales de la Cour de justice de la République et canton de Genève et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 21 mai 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge unique : Abrecht
Le Greffier : Ourny