井伊直政
小野朝之
川手良則
木俣守勝
近藤康用
近藤秀用
西郷正友
菅沼忠久
鈴木重好
中野直之
奥山朝忠
土屋忠直の幼少時、配下の兵が預けられた
海老江里勝
永禄4年(1561年)2月19日、今川氏の家臣である井伊直親の嫡男として、遠江国井伊谷(現在の静岡県浜松市北区引佐町井伊谷)近くの祝田(ほうだ・現在の浜松市北区細江町中川)で生まれる。母は奥山朝利の娘・ひよ。幼名は虎松。井伊氏は先祖代々、井伊谷の国人領主であり、当時の井伊家当主である井伊直盛(虎松の父・直親の従兄で養父)は今川義元に仕えて桶狭間の戦いで戦死した。父・直親は、虎松の生まれた翌年の永禄5年(1562年)、謀反の嫌疑を受けて今川氏真に誅殺された。当時、虎松はわずか2歳であったため、直盛の娘に当たる次郎法師が井伊直虎と名乗り、井伊氏の当主となった。
虎松も今川氏に命を狙われたが、新野親矩が助命嘆願して、親矩のもとで生母・ひよとともに暮らす。しかし永禄7年(1564年)に親矩が討死し、そのまま親矩の妻のもとで育てられたとも、親矩の妹で直盛の未亡人・祐椿尼とひよが養育したともいうが、永禄11年(1568年)、甲斐国の武田氏が今川氏を攻めようとした際、井伊家家老の小野道好が今川氏からの命令として、虎松を亡き者にして小野が井伊谷の軍勢を率いて出兵しようとしたため、虎松を出家させることにして浄土寺、さらに三河国の鳳来寺に入れた。
天正2年(1574年)、虎松が父・直親の13回忌のために龍潭寺に来たとき、祐椿尼、直虎、ひよ、龍潭寺住職・南渓瑞聞が相談し、徳川家康に仕えさせようとする。まずは虎松を鳳来寺に帰さないために、ひよが徳川氏家臣の松下清景に再嫁し、虎松を松下氏の養子にしたという(『井伊家伝記』)。天正3年(1575年)、家康に見出され、井伊氏に復することを許された虎松は、名を井伊万千代と改めた。さらに旧領である井伊谷の領有を認められ、家康の小姓として取り立てられた。