五知には「平家の落人伝説」が語り継がれており、平家の子孫が今なお暮らしているとされる。五知に伝わる伝承では、寿永の乱を落ち延びた平氏のうち、伊勢国度会郡の菖蒲池（現・伊勢市矢持町）にたどり着いた一行がさらに山を越えて五知へやって来て余生を過ごしたという。この伝説を裏付けるものとして「平家の赤旗」または「五知の赤旗」と呼ばれる旗が2流残されており、福寿寺で保存している。平家の赤旗以外にも、陰に陽に伝説を裏付ける事象が五知にある。平家は熊野三山を崇拝していたが、五知では磯部神社に合祀されるまで新宮熊野神社、本宮熊野神社、権現熊野神社の3社を祀り、それぞれ熊野速玉大社、熊野本宮大社、熊野那智大社から勧請したとされる。また他の平家の落人伝説を有する地域が五家庄や五箇（福井県）など「ごか」という地名を持っており、五知という地名も五箇地⇒五地⇒五知と変化したという説がある。志摩市内ではほかに磯部町檜山でも平家の落人伝説を残しており、檜山では伝説の裏付けとして、五知と同じ「小屋の谷」、「天白の森」という地名があることを傍証としている。平家との関連は不明ながら、一定の年齢に達した男子が烏帽子親を選び、元服の儀式で烏帽子親に加冠してもらうという風習が五知に存在した。
2015年（平成27年）の国勢調査による15歳以上の就業者数は72人で、産業別では多い順に農業（15人・20.8%）、医療・福祉（11人・15.3%）、卸売業・小売業（9人・12.5%）、製造業（8人・11.1%）、宿泊業・飲食サービス業（8人・11.1%）となっている。2014年（平成26年）の経済センサスによると、磯部町五知の全事業所数は1事業所（その他の小売業）のみで、従業者数は1人である。2015年（平成27年）の農林業センサスによると農林業経営体数は9経営体（全経営体が農業と林業の兼業）、農家数は14戸（うち販売農家は8戸）、耕地面積は田が19 ha、樹園地が2 ha、畑が1 haである。五知の特産品として柑橘類があり、2004年（平成16年）時点で3軒の農家が伊勢志摩総合地方卸売市場へ「五知みかん」の名で出荷していた。みかんのほかに柿の生産も行っている。
五知峠（ごちとうげ）は鳥羽市白木町と志摩市磯部町五知を結ぶ峠で、国道167号が通っている。標高は100 mで、五知越とも称する。五知峠の名は磯部町五知に由来する。水文学的には伊勢湾と伊雑ノ浦（的矢湾）の分水嶺であり、交通上の要地でもある。直接五知峠の名は出てこないものの、平安時代の『延喜兵部式』に鴨部（現・鳥羽市加茂地域）と磯部に駅馬が4頭ずつ配置されていたことが記されており、加茂と磯部を結ぶ経路上に五知峠があったと考えられる。
人気絶頂期の力道山は、映画スターでもあった。1956年に公開された『怒れ! 力道山』（東映東京）では、国会議員に指示された鉄砲や日本刀で武装したヤクザとキャバレーで格闘して負傷するシーンがあり、力道山の死に方に似ていると話題を呼んだ。
趣味は狩猟などの他、一時期将棋に興味をもった時期があり、プロ棋士の剱持松二らと親交があった。剱持からはアマチュア三段の免状を授与されているが、実際は「ほとんど指していなかった」とのことで、実力がどの程度だったかは不明。
実業家としても成功し、赤坂に自らの住居も兼ねた高級アパートの「リキ・アパート」、ナイトクラブの「クラブ・リキ」、さらに「リキマンション」と名づけたマンションの奔りである高級賃貸住宅を建てた。1973年に自殺した俳優の大辻伺郎も晩年にこの「リキマンション」に住んでいた。渋谷には「リキ・スポーツパレス」という地上9階建てのプロレスの常設会場を作り、その中には「リキトルコ」やビリヤード場、ボウリング場などを併設した「リキレストラン」を建設した。ボクシングジム経営にも進出している。死の少し前には、相模湖畔に、自動車レース場・射撃場・室内スケートリンク・モーテル等レジャー施設を併設した大規模なゴルフ場、「レークサイド・カントリークラブ」の建設を始めていた。広大な土地を購入し、会員権を販売し、一部工事にも取りかかったが、死去により未完に終わった。跡地は売却されて、現在、さがみ湖リゾート プレジャーフォレスト（旧称・さがみ湖ピクニックランド）となっている。また、三浦半島の油壺にも土地を購入しており、家族で楽しめるマリンリゾートの建設を計画していた。
現在の牧の里2丁目東部、新宿1,2丁目あたりの旧住所である「猪高町大字高針字前山」の字名である「前山」からとって「前山小学校」とした。1981年9月の分校建設委員会で校名について検討した際に、「前山」、「牧前」、「牧の里」、「牧」等の名前があがったが、最終的に地元にゆかりのある「前山」という名前を残そうということで満場一致で「前山小学校」となった。しかし、町名変更により居住地域の住所から「前山」という名称が消失したため「前山」という名前は地元住民でも知らない者がほとんどである。これは旧住所である「猪高町大字高針字梅森坂」、「天白町大字植田字梅森坂」の字名が住所名の由来となり現在も居住地区の住所名として残っている梅森坂とは対照的である。ちなみに、地元住民ですらほとんど知らないが非居住地区である牧野ヶ池の住所は町名変更されなかったため昔と変わらず「猪高町大字高針字前山」のままである。また、前山小学校の開校当時の旧住所は「猪高町大字高針字牧」であった（「猪高町大字高針字牧」は現在の牧の里1丁目、2丁目西部、3丁目、牧の原あたりである）。字名「前山」の由来はこの地域にあった丘の名前である「前山」であると思われる。大石神社がある名東区山の手1丁目あたりを「前山」といったらしいが、「前山」の正確な場所は不明である」。猪子石伝説によれば、「前山」は牡石を祭る猪子石神社（名東区香坂水汲坂公園近く）か牝石を祭る大石神社（名東区山の手1丁目、猪子石公園の西隣）あたりだと思われるが定かでない。