Nazwa miasta pochodzi od nazwy rzeki (Żowta), nad którą jest położone. Jedno z uroczysk w dolinie rzeki zostało kiedyś nazwane Żółtymi Wodami. W 1648 roku Stefan Potocki przegrał tu bitwę z powstańcami Bohdana Chmielnickiego. W XVII wieku powstał tu chutor Kozaków, a potem wieś Żółte. W 1895 roku rozpoczęto wydobycie rud żelaza, a potem, od 1950 roku – uranu.