为源自辖区内臼冢古坟入口处的石甲，由于该石甲外型与「臼」和「杵」相似，因此产生这样的地名。
历史.战国时代大友宗麟在丹生岛上建筑了丹生岛城（臼杵城），周边也开始以城下町的型态发展，并成为和中国、葡萄牙的商人往来的商业城市。大友氏之后，臼杵先后成为福原氏、太田氏的领地，直到1600年稻叶贞通由美浓改封于此，直到明治维新实施废藩置县为止的两百多年间都属于稻叶氏的领地。现今的臼杵市区规划几乎都是在稻叶氏治理的时期所完成。1877年西南战争期间，臼杵一度成为西乡军与政府军的战场，并