少年時代「蝦蟇の油を塗ると川に潜っても呼吸ができる」との言い伝えを聞き、後藤象二郎と一緒に、潮江村の田圃から大量に蛙を捕獲。後藤宅の釜で煮こんで蝦蟇の油を作るが悪臭が立ち込めて露見。後藤家の人より散々怒られる。しかし、蝦蟇の油を秘匿して持ち出し、これを塗って鏡川に潜ってみたが呼吸ができず、油の効力が迷信であることを知る。今度は実証主義に転じて、お守りを厠に捨ててみて、神罰が本当に起こるのか試した。すると、鏡川で遊泳の際、耳に水が入った事で聴力が不自由となる。（神罰は起きた）
鏡川での遊泳時に耳に水が入って中耳炎を併発。数ヶ年にわたって聴力（突発性難聴）を失い就学に不便をきたす。そのため塾に通うことはなかった。将来のことを危ぶまれたが、のち不意の所作がきっかけで膿が破れ飛び出て聴力がやや回復した。しかし、後遺症は残り、晩年また聴力が衰えた。（後年、政界を退いてからは視覚障碍者の按摩専業や、傷痍軍人に対する福利厚生など社会改良に取り組んだ素地は少年期に聴覚障碍を患った経験に由来すると言われる）
好物は鮎の塩焼きと半熟卵で、鮎は鏡川で獲れたものを食べていた。（後年、三多摩郡の自由党有志が、板垣退助を多摩川対岸の大柳河原に招き、板垣の好物である鮎釣大会を催した。のち青梅の人々は板垣の人柄を懐かしみ銅像が建立された）
板垣は廓中(高知城下の武士居住区)で人気があり、義侠心もあって弱い者いじめをする者には敢然と喧嘩で応戦。身分の上下を問わず、常に公平な視点から評価を下したので、これを慕う小輩(子分)が多くいた。親分肌で小輩(子分)への面倒見が良く、餓鬼大将となる。不義があると正論を吐いて宣戦布告。大人に対しても物怖じせず。この性格は母の教育による影響が大きく、退助は晩年、この事を聞かれ自分の少年時代を振り返り次のように述懐している。