伏見城
慶長五年（1600年），出生於伏見城。義直的乳名起初是千代丸，最後改成五郎太丸。據說改名五郎太丸是因為當時伏見城在築城牆，築城牆所用的石頭就叫做五郎太石，因此才取名五郎太丸，而這個名字也是家康親自命名。而五郎太丸元服後本來叫做義知，後改為義利，最後才是義直。