עד שנת 1947, צ'אלוף, בעקבות הדוגמה הרעה של גיבורו צ'רלי פרקר, היה מכור להרואין. לפי ג'ין ליס, צ'אלוף היה ספק הסמים הראשי של להקת וודי הרמן כמו גם המכור מספר אחת שלה. סרג 'היה תולה שמיכה על המושבים האחוריים של האוטובוס ומאחוריו חילק את החומרים לעמיתים.' ויטני באליט כתב כי לצ'אלוף היה 'מוניטין שטני כמכור לסמים, שהשפעתו עם סמים על פי הדיווחים פגעו יותר באנשים מאשר רק בעצמו.' מוזיקאים רבים האשימו אותו במותו הקשור לסמים של החצוצרן סוני ברמן בן ה -22 ב־16 בינואר 1947.
החצוצרן רולף אריקסון, שהצטרף ללהקה של הרמן בשנת 1950, תיאר את השפעת הסמים על הופעות הלהקה: ששמעתי פעמים רבות, כמה מהבחורים היו על סמים נרקוטים וארבעה היו אלכוהוליסטים. כשהלהקה פתחה בהופעת לילה הם נשמעו נפלאים, אבל לאחר ההפסקה, במהלכה הם השתמשו בסמים, המוזיקה הטובה הסתיימה. זה היה נורא לראות אותם יושבים על הבמה כמו מתים חיים, מציצים למעטפות נייר קטנות כשלא ניגנו.
בסוף שנת 1949, כשלהקות גדולות רבות התפרקו מסיבות כלכליות, הרמן פירק את ההרכב השני. בעומדו מול להקה קטנה חדשה בשיקגו בשנת 1950, אמר הרמן לדאון ביט : 'אתה לא יכול לדמיין כמה טוב להסתכל על הלהקה הנוכחית שלי ולמצוא את כולם ערים. לנגן קטעי מוזיקה ולא שמישהו יקלקל ויפריע באמצע ... '
השמינייה של קאונט בייסי.
במשך חלק משנת 1950 ניגן צ'אלוף בשמיניית ה"אול סטאר" של קאונט בייסי, אשר כמו הרמן פירק את הלהקה הגדולה שלו. הלהקה כללה את בייסי, צ'אלוף, וורדל גריי, באדי פרנקו, קלארק טרי, פרדי גרין, ג'ימי לואיס וגאס ג'ונסון. הקבוצה הקליטה מספר תקליטים עבור חברת"ויקטור" ועבור "קולומביה".
החזרה לבוסטון.
בשנת 1950 חזר צ'אלוף לבוסטון, שם ניגן בלהקות קטנות במועדונים כמו "היי האט", "פאטי לאונג" וקפה "רד פוקס". ההופעה משנת 1950 במועדון הסלבריטאים בפרובידנס רוד איילנד, שודרה על ידי WRIV, ושוחררה בתקליטור כ"בוסטון "1950"" . הנגינה בקבוצות קטנות אפשרה לצ'אלוף מרחב לפתח סגנון נגינה חדש. בשנת 1951 הוא דיבר על 'להתרחק מהזיקוקים שלא אומרים דבר' שהיה חלק מהסגנון שלו עד לאותה נקודה, "ולהוסיף עוד צבע וגמישות ליצירה שלו." חברו אל כהן ציין 'זה לא קרה אלא רק לאחר שהוא עזב את הלהקות הגדולות הוא באמת התחיל להתפתח כסולן.'
צ'אלוף היה כעת כוכב, זכה בסקרים ב- דאון ביט ומטרונום מדי שנה בין השנים 1949–1953. עם זאת השימוש בסמים שלו ושתייתו הכבדה הקשו עליו להמשיך בעבודה קבועה, והוא ויתר על הנגינה לחלוטין בשנים 1952-3.
החזרה של צ'אלוף החלה בסוף שנת 1953, כאשר הדי ג'יי של בוסטון בוב 'הרובין' מרטין הציע להפוך למנהל שלו. נעזר מרטין, צ'אלוף הקים קבוצה חדשה אשר ניגנה ב- Jazzorama של בוסטון, ב- Storyville ובמועדוני לילה. שותפיו המוזיקליים הרגילים היו הסקסופוניסט הנרי "בוטס" מוסולי או צ'רלי מריאנו (אלטו), הרב פומרוי (חצוצרה) ודיק טרדזיק (פסנתר). 'הוא לא עבד הרבה,' אמר בוב מרטין, 'כי השמועה התפשטה. היית צריך לדבר עם מישהו כדי לתת לו הזדמנות לנגן. כשכבר נקבעה לו הופעה במועדון או במלון, הוא בדרך כלל היה מחמיץ אותה. אבל כשהוא אכן הופיע ... והתחיל לנגן ... זה היה מושלם" ""
ג'יי מיגליורי, שניגן עם צ'אלוף בסטוריוויל, נזכר, 'סרג' היה דמות פרועה. עבדנו בסטוריוויל, ואם הוא הרגיש טוב, הוא נהג לתת למכנסיו ליפול בהדרגה במהלך נגינת התפקיד שלו, 'גוף ונשמה'. בסוף הקדנצה מכנסיו היו מגיעים לקרקע. '
סרג' עם "בוטס מוסלי.
ביוני ובספטמבר 1954, עשה צ'אלוף שתי הקלטות של הלייבל בוסטון סטוריוויל של ג'ורג ' וויין, פורסמו שני אריכי נגן של 10 ". הראשון, "סרג' ובוטס" הוצג כאלבום משותף עם "בוטס" מוסלי, עם ליווי של ראס פרימן (פסנתר), ג'ימי woode (באס) buzzy Drootin (תופים). עם זאת, ג'ורג 'וויין כתב על עטיפת האלבום:' כותרת חלופית לאלבום זה יכולה להיות 'סרג' חוזר '. . . . כל הבחירה בששת האלה נבחרה ואורגנה אך ורק על ידי סרג '. היו חמישה "סטנדרטים" ויצירה מקורית של צ'אלוף, עם סיום 'שנכתב על ידי פסנתרנית ומורה נפלאה, מרגרט צ'אלוף, אמו של סרג'. .
באלבום השני "של" סטורוויל, ""המשל של מייבל" (The Fable of Mabel,)", ניגן צ'אלוף בלהקה בת תשעה נגנים ובהם צ'רלי מריאנו, שהלחין שלוש מתוך חמש היצירות המקוריות, והרב פומרוי, שסיפק את 'הצדעה לטיני', שהוקדש למתופף והמעבד טיני קאהן . את קטע הכפתיחה השאפתני הולחן על ידי דיק טרדזיק, שתיאר זאת על גבי החלק האחורי של עטיפת התקליט: ' "המשל של מייבל" הוצג לחוגי הג'אז בשנים 52–1951 על ידי רביעיית סרג' צ'אלוף. הקהל מצא כי אגדת הג'אז הסאטירית הזו היא הפוגה מבורכת ממופע הרגיל במועדון הלילה. באגדה זו, מייבל מתוארת כאישה שאוהבת גברים, מוזיקה וסקסופון הכסף שלה שניגן "ניגוד משלים" (ההמצאה שלה עצמה שהוכחה כבלתי מעשית). העבודה מחולקת לשלוש תנועות: ראשית, ניו אורלינס; שני קלאסי; ושלישית, סיום לא עצוב מדי. סולו הבריטון הנשמה של סרג 'צ'אלוף מתחקה אחר תחילתו הצנועה של מייבל העובדת על קרונות רכבת בניו אורלינס ועד הופעתה כצלבנית למען הג'אז. בימי פריז שלה על סירת הבית בג'אז, המאבק שלה לביטוי עצמי מסומל על ידי דואט הסקסופון יוצא דופן המבוצע על ידי צ'רלי מריאנו וורטי הריטורוניאן.' את המסלול השישי, "Lets Jump" של אל קיליאן, בחר צ'אלוף שאמר: "עכשיו אחרי שהוכחנו כמה אנחנו מתקדמים בואו נראה לאנשים שאנחנו עדיין יכולים לנגן את הסווינג."
חודש בלבד לאחר ההקלטה השנייה שלו ב- Storyville, צ'אלוף עבר משבר אישי. באוקטובר 1954, בלי כסף ובלי יכולת למצוא הרואין, הוא נכנס בהתנדבות לתוכנית השיקום לסמים בבית החולים הכללי ברידג'ווטר. לאחר שאושפז במשך שלושה חודשים וחצי. הוא שוחרר בפברואר 1955, סוף סוף ללא סמים.
"בוסטון בלו-אפ!".
בשנת 1955 שכנע בוב מרטין את חברת התקליטים הקפיטול רקורדס, להקליט אריך נגן של צ'אלוף כחלק מסדרת 'סטן קנטון מציג ג'אז'. האלבום החוזר של צ'אלוף, "בוסטון בלו-אפ!" הוקלט בניו יורק באפריל 1955. ליוו אותו "בוטס" מוסולי (alto), הרב פומרוי (tp), ריי סנטיסי (p), אוורט אוונס (b) וג'ימי זיטאנו (ד).
פומרוי, סנטיסי וזיטאנו היו כבר להקה קבועה, וניגנו בקביעות במועדון האורווה (Stable Club) של בוסטון, שם הקליטו אלבום חי "ג'אז בסטייבל."
הקשר של קנטון התרחש באמצעות מוסולי, שניגן בתזמורת שלו בשנים 7–1944 ו- 4–1952. ריצ'רד ווקה כתב כי 'לצ'אלוף עדיין היה מוניטין של ילד רע, ונוכחותו האמינה של מוסולי היציב, שהקליט אריך נגן משלו בשנת 1954, הייתה הקלה גדולה לחברת התקליטים קפיטול.' להקלטה הלחין ועיבד חמש נעימות חדשות, כולל 'בוב הרובין', שהוקדשו למנהל של צ'אלוף. פומרוי ארגן את הקלטת הקטעים הידועים.
צ'אלוף תיאר את המפגשים: 'כשחזרתי לסצנת המוזיקה, רק לאחרונה, רציתי משהו עם דברים שישמעו חדשים. קיבלתי בדיוק מה שרציתי מהרב ומ"בוטס". אני חושב שהכתיבה שלהם מוכיחה לנו שקבוצה מאושרת המנסה ליצור בידור מוזיקלי חדש על ידי נגינת סווינג כל הזמן. ג'אז צריך את הסווינג; אם לא, הוא מאבד את תחושת הביטוי שלו. הקבוצה הזו ודברים אלה הם מהמאושרים שעסקתי איתם. '
שיאי האלבום הם הבלדות החזקות של צ'אלוף, 'מה חדש?' ו'גוף ונפש ' . בספר השנה של מטרונום משנת 1956, ביל קוס תיאר את האחרון כ'דוגמה כמעט מפחידה לביצועים של סרג ', נאנק באמצעות תיאור אוטוביוגרפי לכאורה של היצירה Body and Soul, זו חוויית האזנה רגשית לג'אז. "
ג'ק טרייסי נתן לאלבום "Boston Blow-Up" חמישה כוכבים בסקירתו של Down Beat : 'סרג', היה במשך שנים אחד מהאישיות הכאוטית יותר של המוזיקה, שינה את התנהגותו והוא שוב החל "לעוף" נכון. זה ניכר בנגינתו שהפכה לדבר של יופי אמיתי. . . . צ'אלוף מציג את היכולת הטובה ביותר של כישרונותיו מאז ומתמיד. יש לו לב, יש לו בגרות - זו ההתגברות המיוחלת של כישרון גדול. '
בשנת 1956 עשה צ'אלוף את דרכו ברחבי הארץ, לרוב ניגן על אלט / בריטון. בשיקגו ניגן לצדו של לו דונלדסון . בלוס אנג'לס הוא ניגן עם סאני סטיט, בלהקה שכללה גם את לירוי ויניגר, הבסיסט המוביל בחוף המערבי.
האלבום "Blue Serge".
הופעתו של צ'אלוף בלוס אנג'לס הובילה להקלטת אלבום שני בחברת "קפיטול" במארס 1956. המתופף היה פילי ג'ו ג'ונס, שהיה בלוס אנג'לס עם חמישיית מיילס דייוויס. סוני קלארק ניגן בפסנתר ולירוי וינגר היה על הבס. צ'אלוף תיאר את ביצוע התקליט, שנקרא "בלו סרג "', על עטיפת התקליט:' התקליט האחרון שלי, "Boston Blow-Up!" היה אחד הדברים המתוכננים בקפידה. . . . אבל הפעם הרגשתי קצת יותר נוח, והחלטתי להקליט רק כדי לנגן. בחרתי את מה שהרגשתי שהוא קטע הקצב הטוב ביותר ואמרתי להם רק להופיע ... בלי חזרות ... בלי מנגינות ... ולהאמין למזל ולמוזיקה. . . . מעולם לא עבדתי עם החבר'ה האלה לפני כן, פרט לאלתורים עם ג'ו ג'ונס לפני שמונה שנים, אבל ידעתי מלשמוע אותם מה הם יכולים לעשות. . . . עבדנו בצורה מאולתרת וזה עבד לנו. יש בזה יותר חופש וניצוץ מכל מה שכתבתי בעבר. ואני לא חושב שיש המלצה טובה יותר מזו כשמדובר בג'אז אמיתי. '
ולדימיר סומוסקו, הביוגרף של צ'אלוף, תיאר את התוצאות: 'קרבה של הקבוצה הייתה מרגשת כמו המוזיקה, והאפקט הנקי היה של כל תו במקומו, מבוצע ללא דופי, כאילו אפילו הניואנס הקל ביותר נבחר בקפידה לקבלת רושם של אסתטיקה מקסימלית . זו רמת הישג מעבר לכל דמיון, ומהרכב שאפילו לא עבד יחד לפני כן. זה נחשב בגדר נס. '