门于1558年出生在伊贺国，幼名五郎吉，是三好氏家臣石川明石的儿子，身材高大，有三十个人合力的巨大力气。1573年，父母都被室町幕府将军的属下杀死。石川五右卫门为了报仇，投奔伊贺流忍者百地三太夫的门下学习忍术。由于与三太夫的妻子通姦被发现，杀死了三太夫的妾并逃亡江湖。而在织田信长派兵攻破伊贺、残杀忍者时，石川五右卫门曾试图下毒杀害信长，但失败了。另一说法认为石川五右卫门是丹后国伊久知城城主石川氏的后代。石川氏是丹后守护大名一色氏的家老，1582年（天正十年），丰臣秀吉派细川藤孝谋杀了效忠于一色义定的石川