בשנת 1977 הוציא ארצי את האלבום "רומנסה ופיוט", שכלל בעיקר שירים שתרגם משה גיורא מלאדינו על פי לחנים עממיים מתוך "ספר הרומנסות" ו"האנתולוגיה לחזנות ספרדית" של חוקר הלאדינו יצחק לוי. האלבום כלל גם את הפיוטים "לכה דודי" של ר' שלמה אלקבץ ו"יגדל אלוהים חי" של דניאל בן יהודה. עיבוד השירים התחלק בין אריה לבנון, אילן גלבוע ושמעון כהן. האלבום הופץ בעותקים ספורים בלבד, ולימים נחשב לאלבומו הנדיר ביותר של ארצי.
מאוחר יותר גנז ארצי את מכירות רוב אלבומיו הראשונים, ובמשך שנים הם לא היו ניתנים למכירה כלל. רק בשנת 2008 "הצילה" חברת "הד ארצי" את המצב, כאשר הוציאה את חלק מהאלבומים על גבי תקליטור, במארז אחד שנקרא "השנים הראשונות". המארז כלל את האלבומים "שלמה ארצי", "על אנשים", "פתאום אחר ימים רבים", "אומרים ישנה ארץ", "לכל החברים מהמסע מים אל ים", "את ואני", "משחקי 26", "יש לי אישה, ילדה ולמברטה ואני גר בתל־אביב" ו"רומנסה ופיוט", בנוסף לתקליטור אוסף אחד של כל האלבומים. בשנת 2010 הוצעו אלבומים אלו לראשונה למכירה גם בנפרד.
הצלחה מחודשת: 1978–1983.
בשנת 1978, על קצה אמון חברת התקליטים בו, וכמעט מוכן לוותר על קריירה כזמר, הוציא ארצי את אלבומו "גבר הולך לאיבוד" בהפקתו של יאיר שרגאי. פה קרתה ה"הפתעה": אלבום זה הצליח יותר מקודמיו, וסימל את מעברו של ארצי לשירים יותר אישיים. עם זאת, המשיך ארצי בהלחנת שירי משוררים גם באלבום זה, בהם של נתן יונתן ("האיש ההוא", "רק עלה", "כמו ציפור") ושאול טשרניחובסקי ("את אינך יודעת"). האלבום כלל שמונה שירים בלבד, שמתוכם הלחין ארצי שבעה. את השיר "בלילות אני מתגעגע" הלחין חנן יובל למילים של ארצי. אחת התגליות הגדולות של האלבום היה הקלידן משה לוי, שבלט בעיקר בנגינת הפתיחה הארוכה של השיר "גבר הולך לאיבוד". לוי הפך בעקבות האלבום לאחד המוזיקאים הפעילים ביותר בארץ, והוסיף לעבוד עם ארצי מאוחר יותר במספר אלבומים נוספים.
באותה שנה כתב והלחין ארצי גם שני שירים לאריק סיני: "שיר פרידה" ו"שכח אותי אמרת". השירים זכו להצלחה, ונכללו מאוחר יותר באלבום הבכורה של סיני, שיצא בשנת 1980.
בהדרגה עבר ארצי משירי "ארץ ישראל היפה" ושירי משוררים ליריים לסגנון של פופ ורוק רך עם שירים אישיים ואסוציאטיביים שאת רובם כתב והלחין בעצמו. את מגמה זו החל באלבום "דרכים" משנת 1979, עם השירים "אף פעם לא תדעי", "אחרי הכל את שיר" ו"צוותא", אשר תיאר בצורה סאטירית הופעות של זמרים. באלבום בלטו גם השירים "פתאום כשלא באת" בדואט עם גרי אקשטיין, "שינויי מזג האוויר", "אתמול חלפו הציפורים" שכתב משה בן־שאול ו"שיר חייל" ("אני שומע שוב..."), שהלחין ארצי על פי מכתב ששלח סרן לחברתו לפני שנהרג במלחמת יום הכיפורים.
אמנם "גבר הולך לאיבוד" סימן את המפנה החיובי בסגנונו של ארצי, אך היה זה דווקא "דרכים" שחשף אותו לקהל רחב יותר, והרחיב את קהל מאזיניו. הצלחת "דרכים" הביאה לחשיפה גדולה יותר של "גבר הולך לאיבוד", והגדילה את הצלחת האלבום.
הסגנון המוזיקלי של "דרכים" נמשך גם באלבום "חצות" משנת 1981, שאותו הפיקו יאיר שרגאי ומשה לוי. באלבום בלטו השירים "לא עוזב את העיר", "יום אחד", "מהן המילים" למילותיו של משה בן שאול, "בואי ונתיר" ו"במטוס סילון". במצעד הפזמונים השנתי של רשת ג' לשנת תשמ"א זכה ארצי פעם נוספת בתואר "זמר השנה".
בשנת 1982 הוציא ארצי שני תקליטי ילדים נוספים, שניהם נקראים בשם "סיפורי התנ"ך לילדים", ובהם הקריא סיפורי תנ"ך שונים כפי שכתב מאיר שלו.
בשנת 1983 יצא אלבום של הופעה חיה של ארצי בצוותא שהוקלט ב־1982. לאחר צאתו, האלבום נגנז ולא יצא לאור שוב וכיום הוא נחשב לתקליט נדיר. בנובמבר 2013 החליט ארצי להוציא אלבום משולש, ובתוכו כלל גם אלבום הופעה נדיר זה.
באותה שנה חזר ארצי בפעם האחרונה לשירי ארץ ישראל, באלבום "מקום". באלבום נכללו לחניו של ארצי לשירי משוררים כ"הרדופים" ו"החול יזכור" של נתן יונתן, "בהר הדומיות" של נתן אלתרמן ו"שיר" של משה טבנקין, וכמו כן ביצוע בהופעה חיה לשיר "אני נושא עמי" של יעקב אורלנד ודוד זהבי והקלטה מחודשת של השיר "אומרים ישנה ארץ" שכתב שאול טשרניחובסקי. סשה ארגוב הלחין עבור האלבום את השירים "אל הנירים האפורים" של נתן יונתן ואת "ריח הדרים" של מיכה אבני. באלבום נכללו גם הקטעים האינסטרומנטליים "מקום" ו"סיום", וכן דואט עם אסתר שמיר בשיר האהבה המפוכח והקודר "ברית לא מותרת", ששמיר כתבה והלחינה.
גיבוש הסגנון המוזיקלי: 1984–1991.
בסוף 1983 הקליט ארצי את האלבום "תרקוד", שיצא בתחילת שנת 1984. את האלבום הפיק לואי להב ועיבד רמי לוין. ארצי כתב והלחין את כל שירי האלבום, שמהם הצליחו השירים "תרקוד", "רוב הזמן את אשתי", "וביחד נזדקן" ו"מה רצינו להגיד". השיר "תרקוד" נבחר כ"שיר השנה" במצעד הפזמונים השנתי של רשת ג' לשנת תשמ"ד, וארצי זכה בתואר "זמר השנה".
"תרקוד" סימל את גיבוש סגנונו המוזיקלי של ארצי כפופ־רוק, וכן את המעבר מהופעות באולמות קטנים כ"צוותא" להופעות בפארקים בפני קהל גדול.
בשנת 1986 הוציא ארצי את אלבומו הבא, "לילה לא שקט", בהפקתו של להב ובעיבודים של רביב גזית. גם באלבום זה כתב ארצי את כל השירים, שמהם התפרסמו "שדות של אירוסים", "לילה לא שקט" (המתייחס לנפילתו של חברו הטוב, טייס המסוקים סרן במלחמת יום הכיפורים), "הרדיו הישן", "נרקוד נשכח" ו"סייסטה מקומית". האלבום שחזר את ההצלחה של קודמו, ובשנת תשמ"ו זכה ארצי פעם נוספת בתואר "זמר השנה".
באלבומו הבא (והכפול), "חום יולי אוגוסט" משנת 1988, החל ארצי לגעת גם בנושאים כואבים, כמו התמודדות עם היותו דור שני לשואה בשיר "בגרמניה לפני המלחמה" ומוות של חיילים בשיר "חום יולי אוגוסט". באלבום ביטא ארצי גם אמירות פוליטיות, מעבר לעיסוקו בנושאים אישיים. בשיר "עבד הממהר" כתב "עוד לא למדנו כלום, כך מתברר" כאשר גיבור השיר, ערבי מקלקיליה, נהרג מאש צה"ל. בשיר "ארץ חדשה" טען "יש לנו ארץ – למה עוד אחת?". גם כיום, ארצי אינו מסתיר את דעותיו הפוליטיות ותמיכתו בשמאל המתון של המפה הפוליטית. שירים נוספים בולטים מהאלבום כללו את "תחת שמי ים התיכון" (הידוע בזכות השורה "כמה זה עולה לנו?"), "נבראתי לך", "לב שבור לרסיסים" ו"טלפני טלפני".
בערב יום השואה תשמ"ח העלו ארצי ויהודה פוליקר, לבקשת מנהל מחלקת ההפקות באגף התרבות בעיריית תל אביב-יפו, יעקב מנדל מופע בשם "בגלל המלחמה ההיא" באולם תיאטרון הקאמרי. במופע שולבו שיחות בין שני האמנים בני "הדור השני" עם שיריו של ארצי "בגרמניה לפני המלחמה", "רומניה" ועוד ושירי "אפר ואבק" של פוליקר.
את שנות התשעים פתח ארצי עם האלבום "כרטיס ללונה פארק" בהפקתו של לואי להב ובעיבודו של עדי רנרט. ארצי כתב והלחין את רוב השירים באלבום, ובהם "נכנסת לחיי", "רוקר חיי", "מעבר לנהר" (המוקדש גם הוא למירון גרנות) ו"אגדת עשרים ואחת". רנרט הלחין את השיר "סיטואציה" למילים של ארצי. לאחר ההצלחות הגדולות של אלבומיו הקודמים, נחשב האלבום לכישלון מסחרי, ולא השאיר להיטים רבים, אם כי לא עצר את ימי הזוהר של ארצי.
בשנת 1990 הוציאה חברת "הד ארצי" שני אלבומי אוסף של ארצי בשם "השירים 1" ו"השירים 2", שכלל ביצוע של השיר "במטוס סילון" בהופעה חיה. בשנת 1991 יצא האלבום "השירים 3 – ביצועים אחרים", ובו הקלטות שונות של ארצי לשיריו, בעיקר מהופעות ומחזרות. נכלל בו גם ביצועו של ארצי ל"שיר ערש" של נתן אלתרמן וסשה ארגוב.
ב־1991 נסע ארצי ללוס אנג'לס, שם ניסה שוב את כוחו מחוץ לישראל, הפעם בהצלחה מסוימת, כאשר הלחין את פסקול הסרט "Leather Jackets"
בכיכובם של ברידג'ט פונדה וקרי אלווס.
שיא ההצלחה: 1992 ואילך.
עם שובו לישראל, החל ארצי בעבודה על אלבומו הבא, "ירח", שיצא בשנת 1992. ארצי כתב והלחין את כל השירים באלבום, בהפקתו של יהודה עדר. לראשונה מזה זמן רב לא עבד ארצי עם מעבד מוזיקלי אחד קבוע, אלא עם מספר מעבדים, בהם עדר, רביב גזית, משה לוי, יועד נבו ויאיר מיכאל. האלבום היה גדוש בלהיטים, ובהם "אני בא" עם עמיר לב, "ירח", "ואלס בחמש ושלושים", "תגידי", "כמו אז", "שאלתי מה קרה" ו"אחרת אתה מת". האלבום זכה להצלחה מסחרית גדולה, יותר מכל אלבום אחר של ארצי עד אז, עם מכירות של 100,000 עותקים והופעת בכורה בפסטיבל ערד מול 6,500 איש ב־13 ביולי 1992.
בשנת 1993 יצא אלבום האוסף של ארצי "האוסף המשולש", שהיה אלבום האוסף הראשון בישראל שחולק לשלושה חלקים. האלבום זכה להצלחה גדולה והגיע למעמד אלבום זהב. מסע הופעות עם להקה מורחבת ליווה את הוצאת האוסף. באוסף זה "שכתב" ארצי, למעשה, את ההיסטוריה של הקריירה שלו, בכך שנעדרים ממנו לחלוטין הקלטותיו שקדמו לאלבומו "גבר הולך לאיבוד".
לאלבומה של חברתו ב"צמד סיני" הוותיק ריקי גל "חפש בי", שיצא באותה שנה, הלחין ארצי את השיר "ראש השנה שלך" למילים של צרויה להב. לאלבומה של ריטה "אהבה גדולה" משנת 1994 הלחין את השירים "האם אתה מאושר" למילותיה של אריאנה הרן הכהן ו"מאוחר מדי" שכתב יאיר לפיד.
בשנת 1995 השתתף ארצי בתוכניתו של גידי גוב "לילה גוב", שבה שרו השניים את שירו של אריק איינשטיין "עוף גוזל". כעבור מספר חודשים שרו השניים שוב את השיר, בעצרת לזכרו של יצחק רבין. באותה עצרת שר ארצי את השיר "האיש ההוא" שיצא במקור באלבום "גבר הולך לאיבוד", ושמחברו נתן יונתן הקדיש לרבין. באותה שנה הקליט הזמר שאול צירלין את גרסתו לשיר, אשר זכתה להצלחה יחסית והושמעה פעמים רבות ברדיו, במקביל לגרסתו של ארצי.