御庭番の前身は、吉宗が将軍就任前に藩主を務めていた紀州藩お抱えの薬込役（くすりごめやく）と呼ばれる役人たちで、紀州藩でも奥向きの警備を表向きの職務とし、藩主の命を受けて情報収集を行っていたといわれる。吉宗が将軍に就任したとき、薬込役のうち十数人の者たちが吉宗に随行して江戸に移り、幕臣に編入されて御庭番となった。紀州藩の薬込役は全体で数十人おり、その中から幕臣に編入されたのは十数人だけだったが、これは輪番で江戸に随行した者を任命しただけで、特に選抜して連れてきたというわけではない。
吉宗が御庭番を新設した理由としては、家康以来幕府に仕えてきた伊賀者や甲賀者が忍者としての機能を失い、間諜として使い物にならなくなったことや、傍流の紀州家から将軍家を継いだ吉宗が代々自分の家に仕えてきて信頼のおける者を間諜に用いようとしたことが、理由として挙げられる。また、幕府の公式の監察官だった大目付が後代には伝令を主たる職務とする儀礼官になったこともあり、将軍直属の監察能力が形骸化したため、これを補って将軍権力を強化する意味あいもあった。
身分と家柄.
御庭番の家筋の諸家は、当初はすべてが下級の御家人だったが、幕末までに大半の家が下級の旗本にまで上昇した。御庭番出身の者が出世すれば、当然に軽輩の職務である御庭番からは離れることになるが、その子が新たに幕府に出仕するときは御庭番となるのが定めで、旗本に出世した御庭番の子は旗本格の御庭番になった。
彼らは当時の武鑑に御庭番として収録されており、間諜でありながら氏名、住居はもとより収入や経歴に至るまで公開されていた。
遠国御用.
御庭番が幕臣としての身分を隠し、遠国に実情を調査に出かける旅行のことを「遠国御用」という。前述したように、彼らは一般に言われるような華々しい間諜行動はとらなかったようだが、それでもしばしば命ぜられる遠国御用は重要な任務だった。
御庭番に関しては、将軍の命を受けてすぐに幕府御用達呉服店におもむき、秘密の部屋で変装して家族にも告げず、ただちに出立するといった記述をよく見かけるが、御庭番自身の談話や彼らの書き残した記録、幕府に残る公的記録からは、これが伝説に過ぎないことが見て取れる。