稲垣源左衛門家の分家が、稲垣源太左衛門家であり、小諸藩主牧野氏の家祖が、長岡から、与板に分家・立藩にあたり、番頭として移動した。当初の与板藩には用人・加判は設置されていなかったので、番頭は家老に次ぐ役職である。加藤氏.小諸家臣加藤氏の家系図、由緒書は、詳細なものが藩庁に提出されていたものとみられるが、ほとんどが散逸されているとみられ、公開されている古文書・目録等には、簡約なものしか収載がないうえ、小諸藩文書などにも、記述量が少ない。ほかの四天王家と比較して、その家史を探る手がかりとなる史料が乏しい。室町・戦国期に、三河国宝飯郡(愛知県豊川市及びその周辺)に勢力を持った『牛久保六騎(牧野・真木・岩瀬・能勢・稲垣・山本)・地侍十七人衆』の一つに数えられた加藤氏の末裔であると考えられる。地侍十七人衆のメンバーについては、諸説があるが、加藤氏がこのメンバーであったことは疑いがない。当家は室町・戦国期に藩主牧野氏の先祖が、牛久保城主であった時代から仕えていた古参の家臣・加藤孫蔵の惣領家である。元和年間の家臣団名簿である「大胡ヨリ長峰御引越御人数帳」にもその名(加藤孫蔵)が見える。長岡藩中老・年寄役以上に列するには不足があったが、加藤孫蔵は牧野康成が与板に立藩するにあたって、支藩家老として添えられた。小諸藩主牧野氏の家老である真木氏、稲垣氏は、牧野家中(かちゅう)の重鎮ではあるが、小諸家臣となった家系は惣領家ではない。これに対して、加藤氏は、藩主牧野氏の先祖が牛久保在城期からの惣領家であるほか、与板立藩以来の家老連綿の家柄である。しかし小諸入封後に末期養子となり、他藩から近親者を迎えたことで、家柄・格式を大きく下げた。一時、家臣筆頭を勤める家柄を取りあげられたとみられる。江戸武艦によると江戸家老に就任する例が多く、家老本職に就任すると、通称を孫蔵から六郎兵衛に改称しているが、小諸藩文書によると、必ずしもこうした傾向はみられない。