开始已经居住于越后赤田城（现新潟县刈羽村）。在守护上杉氏没落后仕于守护代长尾氏，一族中的斋藤朝信是长尾景虎（上杉谦信）的重臣而十分有名。子孙仕于米泽藩。
丰后斋藤氏.丰后的斋藤氏是大友氏的重臣。斋藤长实因为大友氏的家督问题，与大友义鑑对立而被杀，于是引发二阶崩之变。长实之子斋藤镇实被大友宗麟重用，但是在耳川之战中战死。但是血脉由外孙立花宗茂・直次兄弟继承，成为外样大名流传到后世。