Nel mezzo della paura rossa, Hazel Scott testimoniò volontariamente davanti alla commissione per le attività antiamericane, negando di avere avuto contatti con il partito comunista, ma denunciando allo stesso tempo l'ipocrisia e il clima da caccia alle streghe che il maccartismo aveva portato in America e, soprattutto, nel mondo dello spettacolo. La settimana dopo, il 29 settembre 1950, il suo spettacolo televisivo fu cancellato e la sua carriera subì un brusco arresto che portò la Scott a soffrire di diversi crolli nervosi. Pur continuando a lottare contro il maccartismo e la segregazione razziale per il resto della sua carriera, nel 1957 si trasferì a Parigi, dove recitò nel film "Il vizio e la notte" (1958). Nel 1963, insieme ad altri espatriati afroamericani, tra cui James Baldwin, prese parte a una manifestazione davanti all'ambasciata statunitense a Parigi in supporto della marcia du Washington. Dopo dieci anni a Parigi, nel 1967 Hazel Scott tornò negli Stati Uniti, in cui il movimento per i diritti civili degli afroamericani aveva ottenuto importanti vittorie sulla via della fine della segregazione. Continuò a cantare ed esibirsi in nightclub e in televisione, facendo il suo debutto come attrice sul piccolo schermo nel 1973 con la soap opera "Una vita da vivere".