社伝では飛鳥時代の欽明天皇の代（539年 - 571年）に香良洲の浜に夜ごと御神火が現れ、住民が祟り（たたり）だと恐れを成し、一志直青木が祈りを捧げ、神の御心を問うた。すると稚日女命のお告げがあり、生田神社（兵庫県神戸市）から勧請して創建された。別の説では大同2年（807年）創建という。大同2年は、大伴文守が平定のために伊勢国に赴き、平定後に香良洲神社へ参詣し、和平の誓約として矢を奉納した年である。『延喜式』には稲葉神社として記載され、祭神は稲羽八上比売命とその子木俣神の2柱であり、俗称が加良須社だとしている。ただし、香良洲神社ではなく津市稲葉町の稲葉神社を『延喜式』の稲葉神社であるとする説もあり、内務省が1874年（明治7年）9月に調査を行い、1875年（明治8年）6月に稲葉町の稲葉神社を式内社に比定、可良須社は式外社の香良洲神社となった。社殿の造営修理には慶長（1596年 - 1615年）まで伊勢国司が、慶長以降は津藩主の藤堂氏が資金を拠出し、藤堂氏は寛延年中（1748年 - 1750年）に30石余を神領として寄進した。このように香良洲神社は半ば官幣社としての待遇を受けた一方で、境内にある小香良洲社は純粋に産土神として祀られてきた。社務は山田三方の上部家が預かった。香良洲神社に参らなければ片参宮と言われたことから、江戸時代に一年中多くの人々がお伊勢参りの往路または帰路に香良洲神社へ参っていた。1875年（明治8年）に郷社に列せられ、1882年（明治15年）に県社に昇格、1906年（明治39年）に神饌幣帛料供進社に指定された。2012年（平成24年）8月11日午後2時50分頃、落雷が原因と見られる火災が発生し、茅葺きの本殿屋根全面が焼けた。神体は無事であった。
一方、琉球外の日本や中国には古代から（現代の）南西諸島との関係が伺える記述が現れる。『日本書紀』では616年（推古天皇24年）に掖玖・夜勾の人30人がやってきて、日本に永住したという記事が見られ、629年（舒明天皇元年）には大和朝廷から掖玖に使として田部連が派遣されたという記載や、657年（斉明天皇3年）に海見嶋なる島名が登場し、677年（天武天皇6年）に多禰島人を饗したとか、679年（天武天皇8年）に朝廷から使を多禰島に遣わしたという記事などが見られる。また、682年（天武天皇11年）には、朝廷から多禰人・掖玖人・阿麻彌人（奄美人）それぞれに禄を賜るという記事がある。この時代は前掲の『隋書』の例のとおり琉球弧から台湾に至るまで未開の先史時代であるうえ、日本・中国いずれからも文献のみに表れた絶海の辺境の地であった。古代から日本と関係の深かった多禰（種子島・屋久島）は別として特定の島に同定する事は困難を伴う。そのような前提の上で、例えば「夷邪久」は屋久島の事とも、南島全般を指すともされるし、また掖玖に複数の漢字が当てられており、古代日本で琉球弧全般の交易品である「ヤコウ貝」のことを「ヤク貝」と後世に読んでいる事から、初めは掖玖（ヤク）が必ずしも特定の島の事ではなく複数の島々あるいは南島全般を指す言葉として用いられたとも考えられる。奄美（アマミ）に関しても、「あまみ」に複数の漢字が当てられている記載があることから、同様の事が言える。『続日本紀』には、698年（文武天皇2年）に朝廷の命により、務広弐文忌寸博士が南島（なんとう）（原文表記は南嶋）に派遣されたとある。このときの文忌寸博士の任務は掖玖、多褹、菴美の朝貢関係を確認することにあり、699年（文武天皇3年）に多褹・掖玖・菴美・度感など島々から朝廷に来貢があり位階を授けたと記載がある。南島の献上宝物を伊勢神宮および諸神社に奉納したとの記載もある。また、これ以降、朝廷は多褹に国司を派遣するとともに、球美や信覚にも服属を求める使者を派遣している。715年（元明天皇霊亀元年）には南島奄美・夜久・度感・信覚・球美等から来朝し方物を貢上したという記載があり、このとき、天皇は大極殿（平城京）で正月の朝賀を受けられ、皇太子が礼服を着して拝朝を行い、朱雀門で鉦鼓と笛で騎兵が左右に整列して陣し朝賀の儀を行ったと記載がある。このとき蝦夷の人々も来朝し、蝦夷と南島の人々に位階を授けたとある。他にも720年（元正天皇養老4年）に南島人232人に位を授け、また727年（聖武天皇神亀4年）に南島人132人に位階を授けた、などの記載がある。この頃、朝廷は遣唐使派遣のための航路を南西諸島沿いに求めており、遣唐使船が寄港し補給するためにもこれら諸島との交流が必要であった。それとともに、南西諸島に属する島々が朝廷に貢献していたことを示している。中国の史書における初出は、636年の「流求」（『隋書』「東夷伝」）と言う記述である。また、779年には「阿児奈波」（『唐大和上東征伝』）との表記が見られる。これは、鑑真を乗せた遣唐使船が753年に「阿児奈波」（あこなは、おきなは。現在の沖縄本島に比定）の地に漂着した事による。「流求」の表記は当時、台湾と沖縄周辺を包括して指す言葉であり、その状況は隋代から宋、元代に至るまで変わらなかった。中世に入った14世紀に察度王統が明に朝貢し、漸く中国から「琉球」と認識される事になる。