晚年的高丽若光蓄着白色的髭须，高丽郡的郡民尊敬他，称之为白髭样。其逝世年份不详，死后被高丽郡的人尊为神，祀于高丽神社，称白髭明神。由于其生前崇拜日本的猿田彦命和武内宿祢，因此猿田彦命和武内宿祢也被附祀于高丽神社。高丽神社与高来神社以他为主神。埼玉县日高市新堀的圣天院、胜乐寺是高丽氏的菩提寺，为其第三子高丽圣云所建。高丽若光的坟墓则位于圣天院、胜乐寺雷门手前右侧。高丽氏作为日本奈良时代的豪族，直至战国时代才消失。而高丽若光的子孙担任高丽神社的神职直至如今。