戦国時代には、「寄親寄子」という主従関係があり、武将と地方豪族の間で取り交わされ編成された軍事組織である。「徒手空拳である者」は誰かを拠り所とし、守り立てて貰う。「たよられた者」は組織を形成し磐石な基盤の上に立つという互助関係でもある。この主従関係は江戸時代には庶民にまで広がり、都市部に出稼ぎや職を求める者の身元引受人となり、人宿（下宿、たこ部屋のような住まい）を提供し仕事を斡旋するといった口入屋と職を求める者の関係になり、同様に寄親寄子と呼ばれた。また徒弟制度における「親方子方」（兄弟弟子）といった雇用関係や様々な職業などの互助組織の中でも主従関係が結ばれ「親分子分」（兄弟分）といった。これらの主従関係では仕事の手配は習慣的であり親方・親分の中からも手配師となる者も表れた。
江戸時代から手配師と呼ばれる人々や組織が多く出来始めた。背景としては参勤交代や多くの武家屋敷が城下町に出来たことや天下普請としての社会基盤の整備が始まり、公共事業が生活困窮者の救済措置として機能していた。商業の発展による港湾荷役の増加や都市部に郊外や地方から家督を継げない者や仕事を求めて多数の人口流入があり、男性の比率が高かったことなどがある。
参勤交代の大名行列の人員は全てがお抱えの奉公人では賄えず、また武家屋敷も参勤交代時には多数の奉公人が必要になり、口入屋には高賃金と下士扱いの身分のステータスを求め町人や庶民が殺到した。
町奉行管轄の町では、火事と人口増加に伴い慢性的な家屋不足であり普請が盛んに行われ、町鳶、町大工の権威が強くなっていった。そこで大工より自由な時間があるとび職（雨天時はとび職としても町火消しとしても暇であった）が、祭りの顔役としての外交的役割と相まって普請の営業をするようになり、手配師と呼ばれた。