高丽人迁往此处安置。高丽若光离开了大矶，前往高丽郡担任大领（郡司）。大矶的住民慕其恩德，建立高丽寺（高来神社的别当寺，今以废寺）以纪念若光。晚年的高丽若光蓄着白色的髭须，高丽郡的郡民尊敬他，称之为白髭样。其逝世年份不详，死后被高丽郡的人尊为神，祀于高丽神社，称白髭明神。由于其生前崇拜日本的猿田彦命和武内宿祢，因此猿田彦命和武内宿祢也被附祀于高丽神社。高丽神社与高来神社以他为主神。埼玉县日高市新堀的圣天院、胜乐寺是高丽氏的菩提寺，为其第三子高丽圣云所建。高丽若光的坟墓则位于圣天院、胜乐寺雷门手前右侧。