江戸時代の風俗を示した喜多村信節 著 『嬉遊笑覧』における言語の項に
と記されている。
他説では、博徒集団の『貸元、若頭、舎弟頭』の三役（サンヤク）の隠語とも言われる。
変遷.
本来ならばやくざは、『風来坊、根無し草（その日暮らし）、渡世人、無頼漢、ごろつき、不良』等と同義で、そのような生き方をする者達を指した。その意味では、生業を指す「博徒」と「的屋」（香具師）とは、微妙に違った意味を持つ。ただし博徒・的屋にやくざ者が多いのが事実であって、戦後に暴力団という言葉が一般になると、支配的な暮らしは似合わないという事から、暴力団の駆け出しを指すようになった。
一般的に博徒よりも的屋の方が起源が古いとされている。博徒の起源は平安時代で、任俠の徒“俠客”の起源は室町時代とされ、「渡世人」とも呼ばれた。的屋は「香具師」とも称する。江戸時代、征夷大将軍によって、「賭博は、重犯罪」として厳しい取締りがあったが、江戸中期以降に賭博を常習的に行う博徒集団が現れ、現代に至っている。一方、的屋は「非人身分」とされていた。江戸時代には寺社の境内などで賭博を催し収入（いわゆるテラ銭）を得ていた。都市部の方に多く、地方にも存在する。現在に至るまで「社会枠組の外」となる人々である。
また、ヤクザよりも、やや広い、より合法的な性格を持った「顔役」と呼ばれる者もいた。いわゆる俠風に富んだ「男」としてある種畏敬を持って迎えられ、「その人のためなら命をも惜しまぬ」という子分を多数従え、地域社会に隠然とした力を持ち、その中に公然と代議士に成る者もいた。昭和初期のある新聞に「親分議員列伝」として、近代ヤクザの鼻祖とされる吉田磯吉などの名が上がっている。吉田磯吉や、その系列に属する初期の山口組は、古典的な意味でのヤクザでなく、それゆえ旧来の伝統的な稼業に拘ることなく、いち早く現代的な暴力団に変貌していったといえる。
ジェイク・エーデルスタインはその性質に着目したうえで次のように説明する。
...ヤクザ。彼らはイタリアの親戚達に比せば紳士的な傾向にある。窃盗や武装強盗などの街頭犯罪に着手することは通常はない。同業者すなわちヤクザ同士の抗争というならばそれはしばしば発生するものであるが、彼らが一般大衆を攻撃対象とすることは極めて稀である。...