藩主にも公私の別があり、私的部分を管理したのが、側用人である。小諸藩主牧野家の執事といえる。藩主及び家族の交際、進物授受の管理なども行った。側衆は、近習とも呼ばれ当直係であり、その任にあるときは当番とも呼ばれた。小諸藩では、側衆と側用人が分化していたときと、未分化のときがあったようである。案件を就寝中や、大奥にいる藩主に緊急に取次くか否かの決定権は、取次（奏者）ではなく、側衆（当直係・当番）にあった。給人クラスの家柄で、有能な者は側用人に就任する機会があったほか、門閥出身の若輩当主や、家老職の跡取りが、父が隠居しないため、相当年齢になっても、部屋住み身分のまま出仕を余儀なくされているとき、側用人に就任することも多かった。また幕末近くなると、馬廻り格の家柄でも、側用人に抜擢される事例が出てきた。諸藩にあっては、家老職などの重臣から藩主に取次を行うのが、側用人ということもあるが、小諸藩では、取次（奏者）の職権である。小諸藩の側用人は、取次と同格であるが、取次とはまったく別の役職である。徳川幕府の御側御用取次の役目に相当するのが、小諸藩の取次であり、小諸藩の側用人は牧野家の家政を総覧した。幕府に側用人が置かれたとき、将軍と老中の取次ぎ役として大きな力を持ったこともあるが、これとも異なるので混同してはならない。江戸武鑑や大武鑑には、用人も側用人と一括記載されているが、格式や職権はまったく異なる。藩主に対する奏上・取次権のうち、諸届けを受付・受理するのは、用人職であり、執務中・仕置き中の藩主に、面談の取次をするのが、取次（奏者）の職務である。取次（奏者）は、藩主と面談申請者とを仲介する「子供のつかい」ではなく、面談の趣旨を聴取して、論点を整理して、簡単な裁きも行うことができた。取次（奏者）は、自分より格上の重臣・番頭などが面談を申請した場合、一存でこれを却下するほどの大きな権限があったか否かは不明であるが、取次（奏者）の実質的権限は、藩主からの信頼度や、時代によって、一律ではなかったようである。天保期の一次史料に、奏上格連綿の家臣が、馬を自家で飼っていたとする記録が残っているので、このクラスの家臣は、格式上だけ馬に乗れるのではなく、実際に馬に乗っていたものとみられる。抜擢により奏者・側用人の職にあった士が、日常的に馬に乗っていたかは、定かではない。
6代氏種の時、元冦の役の軍功により肥前国神埼荘地頭職を賜り移住。元弘3年（1333年）、8代近種が護良親王の命で行動していたことが確認される。永享6年（1434年）、12代常種は少弐氏の九州探題渋川満直の征討に協力。勢福寺城の城主となり、以後は少弐方として行動するようになった。13代興種は大内氏（大内義興）と通じたため少弐氏により勢福寺城を追われたが、14代元種は大内氏と対立を深める少弐氏（少弐資元）を援け再び勢福寺城に入った。天文2年（1533年）元種は東肥前に侵攻してきた大内氏の軍勢を蹴散らしたが、天文3年（1534年）再び侵攻した大内氏に少弐方は劣勢に立たされた。元種は少弐資元・冬尚親子を勢福寺城に受け入れ立てこもったが、最後は水ヶ江龍造寺氏の龍造寺家兼の進言により大内氏と和議を結び勢福寺城を明け渡した。少弐冬尚は再起を図るため、協力を請うた龍造寺家兼の尽力で勢福寺城に復帰。龍造寺家門（家兼の弟）が執権に就き、江上元種は馬場頼周と共に補佐として少弐氏を支えることになった。しかし少弐氏内での龍造寺氏の勢力増長を嫌った馬場頼周は、家門に謀反の嫌疑をかけ龍造寺派を謀殺してしまう。家門は逃れたが、これにより少弐氏と龍造寺氏の対立が決定的となった。天文15年（1546年）龍造寺家兼は挙兵して馬場頼周を討ち、翌天文16年（1547年）には家兼を継いだ龍造寺隆信によって少弐冬尚は勢福寺城を追われた。元種は冬尚を守り筑後まで逃れ、江上城で隠居した。天文20年（1551年）少弐冬尚が大友義鎮と組んで龍造寺隆信を肥前から追放すると、元種の跡を継いだ15代武種は少弐氏の執権となった。しかし勢力を拡大した龍造寺隆信は、永禄2年（1559年）に勢福寺城を攻め、少弐冬尚を自刃に追い込み少弐氏を滅亡させた。武種は直前に龍造寺隆信に降っている。龍造寺氏に属することになった武種であったが、後に離反して大友氏に従ったため龍造寺氏の征討を受けるに至った。武種は和議を申し出て隠居し、後継には養子として龍造寺隆信の子の家種が迎えられることになった。16代家種は龍造寺隆信が討ち死にした沖田畷の戦いで奮戦し生き延びた。しかし病弱であった龍造寺政家に代わり龍造寺氏の実権を握る鍋島氏を食い止められないまま、朝鮮の役に参加し戦没した。家種の子は江上姓を捨て、長子茂美（佐野右京亮）は佐野氏を名乗り、次子勝種（勝山大蔵）は勝山姓を名乗った。茂美の子孫は佐賀藩士佐野氏の祖となった。勝種は龍造寺伯庵を擁して幕府に龍造寺家の復興を訴えるも敗訴。正保元年に会津藩保科家預かりとなり、江上氏に復姓した。慶安元年に会津藩に召し抱えられ、子孫は会津藩士として続いた。江戸時代最後の当主種順の子に、戊辰戦争で伝習第一大隊として活躍した秋月登之助（江上種明）がいる。また『北肥戦誌』の記述には、15代・武種の弟の定種が、武種が大友氏に離反した際に自害を以って諫言しようとしたのを（即座に武種らに止められ死には至らず）鍋島直茂が称賛、その子孫を家人に列したのであるが、その子孫が川瀬氏だとある。