エリスが1965年12月にトレジャー・アイルに録音した「ガール・アイヴ・ガット・ア・デート ("Girl I've Got a Date")」はテンポこそスカと同様のアップテンポだが、スカの特徴であるウォーキングベース（ベースが均等に4分音符を弾く奏法）ではなくシンコペーション感覚のあるベースラインがあり、その特有のフィーリングをもって最初のロックステディ楽曲の一つと広く認識されている。同楽曲が1966年にジャマイカのラジオチャート一位を獲得して以降、ジャマイカでは約2年間スカよりも遥かに遅いテンポと甘い雰囲気を持つ音楽ロックステディが流行したが、この2年間はエリスの黄金期と一致する。なお、このジャンル名自体も1966年にエリスが発表した「ロックステディ ("Rocksteady")」という楽曲に由来している。この時期、エリスは自ら「（ロックステディの）最終到着地点」と評した「ブレイキング・アップ (イズ・ハード・トゥ・ドゥ)("Breaking Up (Is Hard To Do) ")」をはじめとする多くのオリジナル曲を発表したほか、タイロン・デイヴィス (en:Tyrone Davis)「キャン・アイ・チェンジ・マイ・マインド (Can I Change My Mind)」、ジーン・チャンドラー (en:Gene Chandler)「デューク・オブ・アール (en:Duke of Earl)」、ルーサー・イングラム「エイント・ザット・ラヴィン・ユー ("Ain't That Loving You")」、デルフォニックス (en:The Delfonics) 「ララは愛の言葉 (en:La-La (Means I Love You))」、プロコル・ハルム「青い影」、チャック・ジャクソン (en:Chuck Jackson)「ウィロー・ツリー ("Willow Tree")」といった英米音楽のカバーや、フィリス・ディロン (en:Phyllis Dillon) やヘプトーンズ、妹ホーテンス・エリス (en:Hortense Ellis) とのデュエットなど、ラブソングを中心に多彩な作品を発表した。トレジャー・アイルでのエリスの人気ぶりに目をつけたコクソン・ドッドは好条件での再契約を申し入れ、1967年1月にこれを受け入れたエリスは、同年初頭にスタジオ・ワンのセッション・バンドであるソウル・ヴェンダーズとバッキングボーカルのケン・ブースを帯同し3ヶ月間イギリスに滞在、ツアーとレコーディングを行った。この時の録音はエリスのファースト・アルバム『シングス・ロック&ソウル ("Alton Ellis Sings Rock & Soul")』としてスタジオ・ワンから同年の内に発表された。しかし、このツアー後、再び金銭面でドッドと揉めたエリスは、腹いせにリン・テイト&ザ・ジェッツ、スーパーソニックスらとともに自らの異名を冠したアルバム『ミスターソウルオブ・ジャマイカ ("Mr Soul Of Jamaica")』を制作し、すぐにトレジャー・アイルから発表した。これを契約不履行として激怒したドッドはリードを相手取り訴訟を起こしたため、エリスは出廷を避けるためにアメリカ合衆国に逃亡した。3ヶ月後、エリスが自身の母親の訃報を受け帰国するとドッドの訴訟は取り下げられており、エリスはドッドと和解した。以後エリスはスタジオ・ワンとトレジャー・アイルという当時ライバル関係にあった2大レーベル双方で作品を発表できる数少ないアーティストの一人となった。
1913年（大正2年） 、徳島県三好郡三庄村（後：三加茂町、現：東みよし町）大字西ノ庄高木の貧しい小作農家に三女、二男の次男として生まれる。父はすでに病没していた。田岡家の菩提寺は長善寺。1919年（大正8年）、三庄村尋常小学校1年生のとき母親を過労で亡くし、一人だけ叔父の河内和四郎（鐘紡専属の荷役現場監督）に引き取られて神戸市兵庫区浜山通6丁目に転居。貰い子として叔母から冷遇され、酒飲みの叔父からは暴力を受けて育つ。1925年（大正14年）浜山小学校を卒業そして兵庫尋常高等小学校高等科へと進学した。1927年（昭和2年）卒業後、地元の川崎造船所に旋盤見習工として入社するが2年後の1929年（昭和4年）に現場主任を殴打して退社した。兵庫尋常高等小学校高等科で山口組二代目組長山口登の弟秀雄と同級生だったことから、秀雄の誘いで叔父の家を出て、二代目山口組のゴンゾウ部屋に世話になり、夜警の仕事に従事しつつ、クスボリ（うだつのあがらぬ不良）グループに加わっていた。仲間内では喧嘩相手の目を指で突く手口で恐れられ、「クマ」と呼ばれた。1930年（昭和5年）、山口組が用心棒を務める芝居小屋で小屋主の態度に腹を立て、芝居を上演中の舞台の花道に土足で乱入する騒動を起こす（湊座事件）。これがきっかけとなり、山口登の舎弟の古川松太郎に預けられて三下修業を積み、1936年（昭和11年）1月20日には二代目山口組の組員となる。この間、1932年（昭和7年）には、幕内力士の宝川が山口登の舎弟の大関玉錦を侮辱したとして宝川を短刀で襲撃し、右手の指2本を切断した上、額を割る事件を起こす。1934年（昭和9年）には、海員組合の労働争議に介入した山口登の舎弟・西田幸一が組合員たちに殺害されたことへの報復で争議本部を襲撃し、組合長に斬りつけて九州に逃亡。のち神戸相生橋署に出頭し、傷害罪で懲役1年の実刑判決を受け、神戸刑務所で服役している。1937年（昭和12年）2月25日、山口春吉の舎弟に暴力を振るった大長政吉を福原遊廓で襲撃し、鉄瓶で殴打して頭を割る。その報復で山口組に殴り込みをかけた大長八郎（政吉の弟）を返り討ち、日本刀で刺殺。このため殺人罪で逮捕起訴され、神戸地裁で懲役8年の実刑判決を受け、神戸刑務所、大阪刑務所、膳所刑務所、京都刑務所、高知刑務所で服役する。獄中では、みずから崇拝する頭山満や玄洋社に関する本を読んでいた。皇紀2600年の恩赦で1943年（昭和18年）7月13日に出所した。二代目組長の登は前年の1942年（昭和17年）既に死亡していたので、その後 湊川で自ら田岡組を組織した。戦後の混乱で警察力が弱体化し治安の悪い神戸の町と闇市を三国人から守るために自警団を組み頭角を現し、登の死後長らく空位であった三代目組長へ推す声が高まった。1946年（昭和21年）10月、組の長老たちの推薦により、山口組三代目組長を襲名した。