919年与其家庭一同移居日本。陈舜臣在家中十名子女中排行第二，在日本神户市元町出生、长大。幼时受其祖父陈恭和所影响，大量吸收汉学知识，奠定其历史素养。高中就读第一神港商业学校（即后来的神户市立神港高等学校）。1941年，陈舜臣进入大坂外国语学校（现大坂大学外国语学部）印度语学科，专攻印地语和波斯语。陈舜臣和司马辽太郎（蒙古语科）、俳人赤尾兜子是同学。1943年毕业，陈舜臣在同校的西南亚西亚语研究所当助手，做印度语词典的编纂工作。在第二次世界大战结束后，因为其在日台湾人的身份，陈舜臣被划归中华民国国民