来到日本时，乘坐的船是自南方来到日本。后来因为日本人看到荷兰人与英国人毛发多为红色，故又有红毛人的称唿，之后与「南蛮人」并为日本人对西方人的称号。1854年日本开国到20世纪初，常用「异人」作为「异国人」及「异邦人」的略语来称唿西洋人。到明治时代，将大日本帝国以外出身的日本居住者称做「外国人」，与大日本帝国领土内日本居民称为「内地人」（大和族）的情形相对。「内国人」在第二次世界大战以后不再使用，但「外国人」仍是日本政府对非日本人的正式用语。