Saitō clan
美濃國出身，仙石治兵衛久盛的四男，於美濃國加茂郡黑岩（現在的加茂郡坂祝町）出生。自稱是清和源氏土岐家的支流。原與父親同為齋藤氏家臣，齋藤氏於稻葉山城之戰滅亡後，投靠織田軍，受到信長賞識，命令擔任羽柴秀吉的寄騎。永禄7年（1564年），14歲時擔任羽柴隊（木下隊）的馬廻眾轉戰各地，極受秀吉寵愛。