במשך רוב 1962 ו-1963, ג'אגר וריצ'רדס חלקו דירה בלונדון (אותה ריצ'רדס כינה: "חורבה יפהפייה") ביחד עם ג'יימס פלג', צלם לעתיד. בזמן שחיו שם, ג'ונס וריצ'רדס היו מאזינים לתקליטי בלוז ומנגנים בגיטרה, יום אחרי יום, וג'ונס לימד את ג'אגר איך לנגן במפוחית כראוי.
ארבעת האבנים יצאו לחפש בסיסט ומתופף קבועים, ואחרי מספר בחינות ואודישנים הם בחרו את ביל ווימן בתור בסיסט (בעיקר מפני שהיו לו שני מגברים גדולים וסיגריות). אחרי שהם ניגנו במספר קונצרטים עם מייק אייבורי שניגן מאוחר יותר בקינקס, טוני צ'פמן וקרלו ליטל, מתופף הג'אז צ'ארלי ווטס - שנחשב בידי מוזיקאים בני אותה תקופה למתופף הטוב ביותר של סצנת המוזיקה בלונדון - נבחר ללהקה.
האבנים ניגנו במועדוני בלוז וג'אז בסביבות לונדון, כאשר הם מבססים להם מערך מעריצים מוצק, למרות התנגדות עזה ממוזיקאי ג'אז מסורתיים שחשו מאוימים מהפופולריות שלהם. בזמן שג'אגר היה הזמר הראשי בתקופה בראשונה של הלהקה, ג'ונס היה המנהיג, כאשר הוא מקדם את הלהקה, משיג לה הופעות בסביבות לונדון ומנהל משא-ומתן עם בעלי מועדונים. ג'ונס לקח על עצמו באותם ימים תפקידים רבים, ביניהם: שירה, גיטרת ליווי, גיטרת סלייד ומפוחית.
מכיוון שג'ונס ניהל את עסקיהם של האבנים, הוא סידר את חלוקת הכסף כך שהוא קיבל חמש לירות שטרלינג יותר מכולם, מנהג שלא מצא חן בעיניהם כלל.
עושר ותהילה.
כאשר הפופולריות של האבנים גדלה, הם הסבו את תשומת לבו של אנדרו לוג אולדהם, שפגש את הלהקה בשל המלצתו של פיטר ג'ונס (אין קרבה), ושביחד עם אריק איסטמן נעשה המנהל שלהם. אולדהם, שעבד במשך זמן קצר עם הביטלס כיחצ"ן שלהם, היה מעריץ של הנובלה "תפוז מכני" מאת אנתוני ברג'ס. הוא טיפח לחברי הלהקה תדמית של הוללים חסרי רסן, כתגובה לחברי הביטלס החביבים יותר, כאשר הוא משתמש בגיבור של הנובלה ובחבר בריוניו כהשראה. היה זה הוא שהטביע את המשפט: "האם תתן לבתך להתחתן עם אבן מתגלגלת?". נגן הפסנתר איאן סטיוארט נדחק אל מאחורי הקלעים בידי אולדהם משתי סיבות: ראשית, אולדהם חש שסטיוארט, לו היה מבנה גוף גדול, לא התאים לתדמית אותה רצה ליצור. שנית, אולדהם סבר ששישה חברים בלהקה הם יותר שמות משהקהל יוכל לזכור בבירור. סטיוארט נשאר מנהל הדרכים של האבנים והקלידן הראשי שלהם עד מותו בשנת 1985.
הגעתו של אולדהם גם סימנה את תחילתו של הניכור בין ג'ונס לשאר הלהקה, כאשר ג'ונס צופה באולדהם גוזל ממנו את תפקידו העיקרי - מנהיג הלהקה - ומעביר אותו אל ג'אגר וריצ'רדס.
עד אותו הזמן גל שיריהם של האבנים היו גרסאות כיסוי לשירי בלוז או קטעים אינסטרומנטליים שנזקפו לזכות "ננקר פלג'" - קרדיט שהוענק לכל חברי הלהקה מלבד סטיוארט. אולדהם, כמו כל שאר חברי הקבוצה, זיהו את הפוטנציאל הכלכלי הגלום בכתיבת שירים לעצמם, כמו בצמד לנון/מקרטני, כמו גם את העובדה הפשוטה שלהמשיך לנגן גרסאות כיסוי לא ימשוך אליהם את אורות הבמה לעוד זמן רב. בנוסף על כך, אולדהם רצה להפוך את הכריזמה והראוותנות של ג'אגר למרכז תשומת הלב בהופעות. ג'ונס צפה בהשפעתו על האבנים הולכת ונשמטת ככל שהם ניגנו יותר שירים מקוריים פרי עטם של ג'אגר וריצ'רדס, ופחות גרסאות כיסוי לשירי בלוז שהוא אהב.
בשנת 1964 ג'ונס חברתו לינדה לורנס הרתה לו ילד מחוץ לנישואים. הוא קרא לילד ג'וליאן בריאן לורנס, וג'וליאן אימץ מאוחר יותר את שם המשפחה ליץ' אחרי שאמו נישאה לזמר הפולק דונובן ליץ'. נאמר שג'ונס קרא לשני בניו ג'וליאן כמחווה לסקסופוניסט הג'אז קנונבול אדרלי.
במשך הקריירה שלו גונס הציג כישרון מוזיקלי עצום, כאשר הוא מנגן במספר עצום של כלי-נגינה, בשל אימוניו על הפסנתר והקלרינט בגיל צעיר. מהזמן בו האבנים הרוויחו מספיק כסף כדי להקליט באולפנים מקצועיים ומאובזרים כמו אולימפיק סטודיו, ג'ונס החל להתנסות בכלי מיתר שונים בקצב מהיר. במהלך שנותיו עם הלהקה הוא ניגן בגיטרה, גיטרת סלייד, פסנתר, סיטאר, טמבורה, אורגן, דולצימר, מלוטרון, קסילופון, מרימבה, חלילית, קלרינט, סקסופון, נבל אוטומטי ומספר כלים נוספים. בין השנים 1962–1964 הוא גם סיפק קולות ליווי.
ג'ונס וקית' ריצ'רדס הצטיינו במה שידוע כ - "טווית גיטרה", שכונתה מאוחר יותר "הדרך העתיקה של הטוויה", שהפכה לצליל המזהה של האבנים במשך הקריירה של ג'ונס. בסגנון זה, ג'ונס וריצ'רדס החליפו ביניהם ללא הרף את תפקידי הליווי וההובלה, כך שהקהל לא יוכל מי מנגן מה, עד לנקודה בה הם בעצמם התבלבלו. סגנון זה נקרא גם סגנון "הבלוז של שיקגו", וניתן לשמוע אותו באלבומים של ג'ימי ריד, מאדי ווטרס, והאולין וולף.
קית' ריצ'רדס טוען שטווית הגיטרה צמחה מהתקופה בה חלקו חדר הוא, ג'ונס וג'אגר, מהאזנה לאלבומים של ג'ימי ריד.
ריצ'רדס וג'ונס שיכללו את מה שהם שמעו באלבומי השיקגו בלוז של שנות החמישים. הדוגמאות הטובות ביותר יכולות להישמע באלבומם הראשון של האבנים The Rolling Stones ובאלבומם Out of Our Heads. החל מאלבומם משנת 1966 Aftermath, ואלבומי שנת 1967 - Between the Buttons ו Their Satanic Majesties Request, מוצגת לראווה יכולתו יוצאת הדופן של ג'ונס לנגן בכלים רבים. באלבומם משנת 1968 Beggars Banquet ובאלבומם משנת 1969 Let It Bleed ג'ונס היה חסר על פי רוב, וטווית הגיטרה שם מבוצעת בדרך-כלל על ידי ריצ'רדס לבדו או בעזרת נגני אולפן כמו ריי קודר או דייב מייסון.
בערך בשנת 1968 רכש ג'ונס את חוות קוצ'פורד במזרח ססקס, ביתו הקודם של אלן אלכסנדר מילן, מחברו של פו הדב.
התרחקות מחברי הלהקה.
הימים הקשים בדרכים, העושר והתהילה, והתחושה של ג'ונס שחברי הלהקה מתנכרים אליו, באו כולם לידי ביטוי בשקיעה ההולכת וגדלה שלו בסמים ואלכוהול. הוא השתמש תכופות ב-LSD, מריחואנה, חשיש וקוקאין, והרבה לשתות אלכוהול, חרף הימנעותו מהרואין.
התמכרויות אלו לא היטיבו עם מצבו הגופני של ג'ונס (הוא סבל מאסתמה, ובכלל - הוא לא דאג מעולם לשמור על בריאותו). במספר מקרים הוא אושפז בבית-חולים בזמן שחברי הלהקה היו במקום אחר, מה שתרם ככל הנראה להעמקת הפרנויה אצלו, ולהפרדתו הפיזית מחברי הלהקה.
ג'ונס נעצר לראשונה בשל שימוש בסמים במאי 1967, מעט אחרי שחבריו נעצרו גם הם בשל האשמה דומה בביתו של ריצ'רדס. רשויות החוק מצאו קוקאין, מריחואנה ומתאמפטמין ברשותו. ג'ונס הודה שהשתמש במריחואנה, אך טען שלא השתמש בשני הסמים האחרים, הקשים יותר. כמו כן, גם במשפטו כמו במשפטם של חבריו, נאספו מפגינים מחוץ לבית המשפט בדרישה שהוא ישוחרר, ואכן הוא שוחרר כעבור כמה ימים. הוא נקנס, הושם בתקופת מבחן, ונאמר לו לחפש עזרה מקצועית.
ביוני 1967, ג'ונס נסע אל פסטיבל הפופ במונטריי ביחד עם ניקו, שהייתה זוגתו באותו זמן. הוא פגש שם את פרנק זאפה, ועלה לבמה כדי להציג את החוויה של ג'ימי הנדריקס. נאמר שג'ונס כונה שם "המלך הבלתי רשמי של הפסטיבל."
ג'אגר וריצ'רדס נעשו עוינים יותר ויותר כלפיו, וג'ונס הורחק מיתר חברי הלהקה. על-פי דיווחים רבים, ג'ונס היה בדרך כלל אישיות חמה, חברותית ונעימה, אם כי חלק מחברי הלהקה - כולל ביל ווימן - העירו שג'ונס היה יכול להיות לפעמים מרושע וקשה במיוחד. לפי רוב הדיווחים, גישתו של ג'ונס השתנתה תכופות, כאשר במשך דקה אחת הוא היה מסוגל להיות דואג ונדיב, ובדקה השנייה לעשות מאמץ מכוון להכעיס את כולם.
המתח בין ג'אגר, ריצ'רדס וג'ונס גבר, ושתיית האלכוהול והשימוש הרב של ג'ונס בסמים לא עזרו לפתור זאת. תרומותיו לאבנים נעשו דלילות יותר, במיוחד לאור זה שהוא החל בכמה פרויקטים צדדיים. ריצ'רדס החל לקחת על עצמו יותר תפקידי הובלה בגיטרה, בזמן שג'ונס, שהשתעמם מהכלי, מצא משהו אקזוטי יותר לנגן עליו, חרף שהוא נעדר תכופות מההקלטות. התדרדרותו האיטית של ג'ונס בתרומות ללהקה החלה בסביבות 1967, והמשיכה עד מאי 1968, כאשר הוא הקליט את ההקלטה האחרונה הרצינית שלו עם האבנים. קליפים של ג'ונס משנת 1967 מציגים אותו ממוטט ובקושי מסוגל לשמור את עיניו פקוחות, ככל הנראה בשל מנדרקס, סם פופולרי באותו הזמן. למרות כל זאת, ג'ונס שמר על קשר עם חברים רבים מחוץ לאבנים, ביניהם: בוב דילן, ג'ון לנון, ג'ימי הנדריקס, ג'ורג' האריסון וסטיב מריוט.
החיים המשיכו להיות קשים יותר ויותר עבור ג'ונס. בקיץ של 1967, חברתו של ג'ונס אניטה פלנברג ברחה אל ריצ'רדס בזמן שג'ונס היה בבית חולים, ובכך פגעה קשות בידידותם של ג'ונס וריצ'רדס. פלנברג טענה מאוחר שג'ונס אושפז בשל ריב בין השניים, שהסתיים בכך שג'ונס הכה את פלנברג ושבר את פרק כף היד, אף על פי שכמו שריצ'רדס זוכר את זה, ג'ונס פשוט "נפל למשכב."
ההקלטות המשמעותיות האחרונות של ג'ונס עם האבנים נעשו בקיץ ובאביב של 1968, כאשר האבנים הפיקו את הסינגל Jumpin' Jack Flash ואת האלבום Beggars Banquet. ניתן לראות את ג'ונס רגוע ושליו בסרטו של ז'אן-לוק גודאר סימפתיה לשטן. על אף שניגן בגיטרה אקוסטית בשיר הרקע, נגינתו לא נכללה בגרסה הסופית של השיר, אם כי בסרט עצמו ניתן לשמוע את נגינתו לעיתים.
באותו הזמן, זה נהיה ברור שג'ונס לא ישאר זמן רב עם האבנים. אם בעבר הוא ניגן בכל שיר על מספר רב של כלי נגינה, נוכחותו לא הייתה בולטת באלבום, והוא ניגן רק בחצי מהשירים.