Ab 1962 gehörte er den konservativ-liberalen Républicains indépendants an. Während der Präsidentschaft Charles de Gaulles war Marcellin von Mai 1962 bis Januar 1966 Gesundheitsminister in den Kabinetten Pompidou I und II. In Pompidous drittem Kabinett war er von Januar 1966 bis April 1967 Industrieminister. Anschließend war er beigeordneter Minister für Raumplanung. Vom 30. Mai 1968 bis 27. Februar 1974 war Marcellin französischer Innenminister. In dieser Position stand er für die Rückkehr zur Ordnung nach den Unruhen im Mai 1968. Präsident Charles de Gaulle bezeichnete ihn als „echten Fouché“, eine Bezugnahme auf seinen gemäßigteren Vorgänger Christian Fouchet sowie den brutalen Polizeiminister Napoleons, Joseph Fouché. In der 68er-Bewegung war er als Hardliner verhasst. Marcellin ließ sowohl links- als auch rechtsextreme Organisationen verbieten (z. B. Occident und Ordre Nouveau).