中島啓之、横山富雄、大崎昭一、菅原泰夫、田村正光とともに、飲み仲間のサークルである「仲よし会」を結成していたことで知られる。会の活動を通じて、その様子をしばしば文章化して発表していた西野広祥（中国文学者、競馬ライターとしても活動）など、競馬サークル外部の人物とも親交を結んだ。西野はのちに吉永みち子との交際・結婚に至るまでの過程で、強硬に反対していたみち子の母を説得に当たるなど、私生活にも深く関わった。また、1年後輩で同郷の郷原洋行、梅内忍や、1969年に調教中の事故で死亡した小泉明東とも親しかった。一般に寡黙な人物として知られたが、「仲よし会」では率先して座を盛り上げていたという。やはり親しかった後輩騎手の嶋田功は、その人物を評して「吉永さんのことを無口、無口っていうけど、あれはマスコミがつくったイメージじゃないかな。ふだん、会えば冗談ばっかりで、冗談のかたまりみたいな人なんだよ。ただし、表には見せないデリケートなところのある人だね」と語っている。
吉永の言う「書く側」であった寺山修司は、吉永に対してことのほか愛情を注いだ。『優駿』に連載した騎手伝記の中ではコウジョウによる追い込み勝ちを取り上げ、「私の考えだけを言えば、吉永正人は当代随一の名騎手である。そのレースぶりには必ずドラマがある。松山調教師の個性的な馬づくりと合わせて、このコンビは武田-福永、高松-柴田と並ぶ屈指のものであり、しかも他の二者にはない競馬の翳をもっている」とし、「馬主各位。調教師各位。もっと吉永に乗るチャンスを与えてやって下さい」と公に訴えた。寺山は1983年、ミスターシービーが日本ダービーに優勝する直前に死去し、吉永がダービージョッキーとなる瞬間や、三冠達成を見ることはなかった。競馬評論家の井崎脩五郎は、菊花賞に寄せた観戦記で「あのダービーの強さを寺山さんに見せてあげたかった。ミスターシービーがシンガリからまくりきって勝ったあのダービーを見て、吉永を応援し続けた寺山さんは、なんと語っただろう」と綴り、その死を惜しんだ。
松山厩舎で調教助手として3年過ごしたのち、1989年に調教師免許を取得し、同年美浦トレーニングセンターに自身の厩舎を開業した。1993年から1995年までは20勝前後の勝利を挙げていたが、全体的には中位から下位といった成績が続いた。1998年に管理馬ビクトリーアップが中山大障害（秋）に優勝したのが唯一の重賞勝利となった。2006年9月11日、胃癌のため64歳で死去。65歳まで調教師を勤め上げれば家族が年金を受け取ることができ、本人もそれを励みに闘病生活を送っていた中での死であった。調教師としての通算成績は3586戦199勝。
1986年3月6日、松山を伴って記者会見を開いた吉永は、突如として騎手引退を発表。理由は減量苦から来る体力の限界であった。この引退については、同年クラシックでコンビを組もうとしていたダイナガリバーから降板させられたことが切っ掛けになったという見方も存在する。これについては「馬主の意向だった」という報道があった一方、同馬の一口馬主クラブを統括する吉田善哉は「私の方から一切そのような指示、依頼をしたことはありません。すべて松山先生の判断でおやりになったことです」と語っており、降板理由の真相は不明である。吉永自身はこうした憶測については言及していない。会見の3日後、3月9日の開催をもって騎乗を終え、最終レース終了後には通算1000勝未満の騎手として初めて引退式が行われた。式の最後には親しかった菅原泰夫の提案により、同僚騎手による胴上げで送られた。引退式で胴上げが起こったのはこれが初めての例であり、以後他騎手の引退の際にも慣例化した。
1941年、鹿児島県肝属郡串良町（現・鹿屋市）で馬生産を営む吉永牧場に次男として生まれる。同場は吉永の曾祖父で、薩摩藩の馬術指南役を務めていた吉永新九郎が1890年代後半に興した一帯で最古の馬生産牧場である。長兄の清人は家業を継ぐため高校へ進んだが、正人は父親より騎手を目指すよう「命令」され、中学校在学中から減量をしながら過ごした。幼少期から家業を手伝っていたが、初めて競馬を見たのは中学2年または3年生のときであったという。中学校卒業前に日本中央競馬会の騎手養成長期課程を受験するも、落第。これを受け、父の伝を通じて東京競馬場に所属する松山吉三郎厩舎に入門し、内弟子として仕事をこなしながら、短期講習生として改めて騎手を目指した。松山にとっては最初の門下生であった。
全域において降水量は少なく、年較差は大きい。長野市での年較差は、北海道内陸部に次いで大きい。年間の降水量は、山梨県の盆地で約1000 mm。長野県の千曲川沿いでは特に雨が少なく、1000 mmを下回る。これは道東に次ぐ少なさである。このこのように雨が少ないのは、周囲を山脈に囲まれていて台風、低気圧、前線などの影響を受けにくいからであり、日照時間も長い。また、年較差や日較差が大きいのは、海の影響を受けにくいからである。夏は暑くなるが、湿度が低い上、夜になると涼しくなり、熱帯夜になることはほとんどない。冬の最低気温は、長野県中部の盆地では-15 ℃以下になることもあり、標高1000メートル以上の高原では最も寒い2月上旬の最低気温の平均は-14 ℃から-10 ℃と、北海道並みの低さになっている。冬の天気は、長野県北部では季節風の影響により雪の日が多いが、長野県中部・南部の平地では晴れの日が多く、南岸低気圧による雪となることもある。山梨県は、西部や北部の山間部を除いて冬型の気圧配置による雪は稀で、南岸低気圧による雪が多い。