Navnet kommer fra øya Risøya, en øy utenfor byen, som er bevokst med kratt (ris). Bynavnet Øster-Riisøer ble benyttet frem til 1905, da Risør ble den offisielle skrivemåten. Risør by blir ofte kalt eller .