Die stad het aanvanklik as Ōwada Anchorage (大輪田泊, Ōwada-no-tomari?) bekendgestaan. Die vroegste geskrewe verwysings na die gebied is deur Nihon Sjoki, wat die stigting van die Ikoeta-heiligdom in 201 n.C. deur keiserin Jingoe beskryf het. Vir die grootste deel van die gebied se geskiedenis was dit nie 'n enkele politiese eenheid nie; selfs tydens die Tokoegawa-tydperk, toe die hawe direk deur die Tokoegawa-sjogoenaat beheer is. Kobe in sy huidige vorm is in 1889 gestig. Die naam kom van "kanbe" (神戸, kanbe?), 'n argaïese titel vir volgelinge van die stad se Ikoeta-heiligdom. Dit het in 1956 een van Japan se aangewese stede geword.