בילדותו גר באלוני אבא וב־1956, כשהיה בן שבע, עברה משפחתו להתגורר בשכונת ביצרון שבתל אביב. הוא בילה ימים רבים אצל סבתו וסבו הורי אימו בקריית ים ג'. כתלמיד בית הספר העממי בלט דווקא כשחקן, אך בגיל 12 התחיל לנגן בגיטרה ושר בלהקה בשבט הצופים. כשהיה בן 16 התחיל להתנסות בכתיבת שירים ובהלחנה. עם "צמד סיני", שהקים עם חברתו לספסל הלימודים רבקה מנשה (לימים ריקי גל), הופיע בפני חיילים בסיני, כשם הצמד.
להקת חיל הים.
עם גיוסו לצה"ל עבר את בחינות הקבלה ללהקה הצבאית, אך בשל פרופיל צבאי גבוה נדרש להתגייס ליחידה קרבית והתקבל לשייטת 13 (הקומנדו הימי). אך מכיוון שהיה עליו לעבור קורס צניחה במסגרת ההכשרה ליחידה, התנגש הדבר עם פחדו מגבהים. הוא פרש ועבר לחיל התותחנים ורק כעבור כשנה וחצי, לאחר פציעה וירידה בפרופיל הצבאי, הצטרף ללהקת חיל הים. בלהקה היה שותף לתוכניות "וביום השלישי" ו"רפסודה בכחול", לצד רבקה זהר, דב גליקמן, אבי אוריה וכן שותפתו לשעבר ל"צמד סיני", ריקי גל. בתוכנית הראשונה שעלתה בשנת 1968 בבימויו של דני ליטאי ובניהולו המוזיקלי של יאיר רוזנבלום טרם בלט, אך בשנייה, שעלתה בשנת 1969 בבימויו של ליטאי ובניהולו המוזיקלי של בני נגרי, היה הסולן הראשי של הלהקה בשני שירים, שניהם בלחניו של רוזנבלום, "המלאך גבריאל" למילים של יעקב רוטבליט ו"כשאהיה גדול" (שוטי שוטי ספינתי), למילים של רימונה דינור, שאף זכה לוידאו קליפים בכיכובו, מהראשונים שהופקו בישראל.
הצלחה ראשונית: 1970–1974.
בשנת 1970, בעודו בלהקת חיל הים, הופיע ארצי בפסטיבל הזמר והפזמון 1970, שבו זכה במקום הראשון עם השיר "פתאום עכשיו, פתאום היום" ("אהבתיה"), שכתבה תרצה אתר, הלחין יעקב הולנדר ועיבד אריה לבנון. השיר הופיע בעיבוד שונה באלבומו הראשון שיצא בשנת 1970, שנקרא "שלמה ארצי". ארצי הלחין שיר אחד לאלבום, "תפילת ערבית", שתרגם יעקב אורלנד לפי שיר של אלן אלכסנדר מילן. בין השירים הבולטים באלבום היו גם "נח"ל ים", שכתב יוסף בכר והלחין קובי אשרת, "האם השלישית", שכתב נתן אלתרמן והלחינה נעמי שמר (שבוצע במקור בלחן שונה של יאיר רוזנבלום על ידי להקת גייסות השריון עם הסולנית עירית בולקא), "אנחנו לא צריכים" ("את הגשם תן רק בעתו..."), שכתב אבי קורן והלחין שמואל אימברמן, ו"האם עודך יפה", שכתבה והלחינה דפנה אילת. השיר "פתאום עכשיו, פתאום היום" זכה בתואר "שיר השנה" במצעד הפזמונים העברי השנתי של קול ישראל, וארצי זכה בתואר זמר השנה.
בשנת 1971 ביצע ארצי גיחה חד פעמית אל מסך הקולנוע, כאשר גילם את דמותו של ירון זהבי, מפקד חבורת חסמבה, בסרטו של יואל זילברג "חסמבה ונערי ההפקר". באותה שנה הלחין ארצי את שיר האליפות של קבוצת הכדורגל מכבי נתניה, "מממ־נננ", שכתב אהוד מנור, וארצי גם שר אותו, יחד עם שחקני הקבוצה.
בתחילת שנות השבעים הוקרנה בטלוויזיה הסדרה "דנידינה", לה שר ארצי את שיר הפתיחה, שכתב אוריאל אופק והלחין אלברט פיאמנטה.
בסוף שנת 1971 הוציא ארצי את אלבומו השני, "על אנשים", שבו כתב והלחין לראשונה את רוב השירים. מהם התפרסמו "אל תשאל ילד", "דנה", "להיות לאחרים", "ארץ הירוק" ולחנו לשירו של טשרניחובסקי "אילאיל". את שירי האלבום עיבדו דוד קריבושי ואלברט פיאמנטה.
בשנת 1972 הופיע ארצי בפסטיבל הזמר והפזמון עם השיר "השיר על ארץ סיני", שכתבה רחל שפירא והלחין מוני אמריליו. באותה שנה השתתף גם בערב שירי משוררים של גלי צה"ל, שעבורו הלחין ושר את השירים "דרך שתי נקודות" של יהודה עמיחי ו"שיר אהבה" ("שני דגים") של דליה רביקוביץ, שאותו שר בדואט עם עדנה גורן. בסוף השנה הוציא את אלבומו השלישי, "פתאום אחר ימים רבים", שבו הקליט שירי משוררים נוספים; לצד "דרך שתי נקודות" ו"שיר אהבה" נכללו באלבום גם השירים "אמא קטנה", שהלחין ארצי עם גידי קורן למילותיו של דוד פוגל, "יופיה אינו ידוע", שכתב נתן זך, ו"יסמין הקטנה", שכתב חיים גורי. באלבום נכללו גם "השיר על ארץ סיני", וכן שני שירים באנגלית: "אנבל לי" של אדגר אלן פו ו"White Bird" ("ציפור לבנה"), שכתב והלחין ארצי. בעקבות האלבום זכה ארצי פעם נוספת בתואר "זמר השנה" בקול ישראל.
בשנת 1973 הקים ארצי את להקת גברת תפוח, על בסיס הרכב הנגנים שליווה אותו בהופעות ובהקלטות קודמות: דדי שלזינגר בקלידים, שלמה חממי בתופים, אצ'י שטרו בבס, ויאיר שרגאי בגיטרה. באותה שנה עזב את חברת ישראדיסק שבה הקליט את אלבומיו הראשונים, וחתם על חוזה חדש בהד ארצי, שבה יצאו כל אלבומיו הבאים. באותה שנה השתתף ארצי פעם נוספת בפסטיבל הזמר והפזמון, וזכה במקום השני עם "שיר בבוקר בבוקר" ("פתאום קם אדם בבוקר"), שהלחין עם גידי קורן למילותיו של המשורר אמיר גלבע. באותה שנה השתתף פעם נוספת בערב שירי משוררים עם לחנו לשיר "אומרים ישנה ארץ" של שאול טשרניחובסקי. בסוף השנה הוציאה חברת ישראדיסק אלבום אוסף של ארצי בשם זה, שכלל הקלטות שונות של ארצי שלא מצאו את מקומן באלבומיו הרגילים, בהן "בשל תפוח" ו"הלילה ארבתי" מתוך תוכנית הטלוויזיה "רסיסי לילה תלויים", שהוקדשה לשירי חיים נחמן ביאליק, שיר הנושא של הסרט "מלכת הכביש" וגרסאות כיסוי לשירים "Eleanor Rigby" של הביטלס ו"עיר לבנה" של נעמי שמר.
באותה שנה זכה ארצי פעם נוספת בתואר "זמר השנה", במצעדי הפזמונים של קול ישראל ושל גלי צה"ל. בעקבות זכייתו בתואר בגלי צה"ל הקליט את השיר "עכשיו אני יודע" עם "זמרת השנה", אילנית, שכתב "פזמונאי השנה" אהוד מנור והלחין "מלחין השנה" צביקה פיק.
במהלך 1973 נסע ארצי לגרמניה בה ניסה את מזלו עם גרסאות כיסוי גרמניות לשיריו בהם "פתאום קם אדם בבוקר", והקליט שם ארבעה תקליטונים שלא זכו להצלחה.
בסוף שנת 1973 הוציא ארצי את תקליט הילדים "טיול לארץ התווים", ובו שירים וסיפורים שכתב גידי קורן. באלבום השתתפו מלבד ארצי גם גליה ישי, הצמד "חומה ומגדל" (אלי גורנשטיין וצחי נוי) ורביעיית האחים והאחיות.
במלחמת יום הכיפורים הרבו ארצי ולהקת גברת תפוח להופיע בפני חיילים. בעקבות המלחמה הוציא ארצי בליווי הלהקה בשנת 1974 את האלבום "לכל החברים מהמסע מים אל ים". בין השירים הבולטים באלבום היו "זמר לבני" שכתב נתן יונתן לבנו (שנפל במלחמה), "גוגו" שכתב אהוד מנור, "חיים משוגעים", וגרסת כיסוי לשירם של התרנגולים "ככה סתם", שאותו סיים ארצי בתוספת שורה "She loves you, יה בה יה", כשילוב עם שירם של הביטלס "She Loves You".
בפסטיבל הזמר והפזמון 1974 רשם ארצי זכייה נוספת, אחרונה. הפעם עם השיר שהלחין יחד עם גידי קורן, לעיבוד של ירון גרשובסקי וכתב בעצמו, "הבלדה על ברוך ג'מילי". הגיבור המציאותי של השיר, ברוך ג'מילי, ישב בקהל, ובעת חלוקת הפרסים קם ונופף בגאווה. היו שמתחו ביקורת חריפה ושלילית על זכיית השיר במקום הראשון, בטענה שיש בבחירת השיר סגידה ל"מלכלך קירות" ועידוד לונדליזם.
1975–1977.
בשנת 1975 נבחר ארצי לייצג את ישראל באירוויזיון 1975. בתחרות שנערכה בסטוקהולם, בירת שוודיה, שר ארצי את השיר "את ואני", שהלחין למילים של אהוד מנור, והגיע למקום ה־11 מתוך 19 מדינות מתחרות. השיר הפך ללהיט בישראל, ובעקבות הצלחתו דחקה חברת "הד ארצי" בארצי להקליט אלבום חדש, שנקרא גם הוא "את ואני". ארצי ביצע את השיר גם בגרמנית ובאנגלית אך לא זכה להצלחה מיוחדת. האלבום "את ואני" כלל את תרגומיו של ארצי לשירים "Teenage Idol" של ריקי נלסון ו"Things" של בובי דארין, וכן את השיר "את הלכת", שכתב ארצי על פי מנגינת ה"אדאג'יו" של תומאזו אלבינוני. מנור כתב שיר נוסף לאלבום, "מתחת למיטה", וארצי כתב והלחין כמה שירים אחרים, כ"שיר אהבה אחרון" ו"היי ליזה". אמנם ארצי זכה באותה שנה בפעם הרביעית בתואר "זמר השנה", אך שיר הנושא נותר השיר הידוע היחיד מהאלבום.
בדיעבד, מסמל האלבום "את ואני" את התחלתה של תקופה רעה מבחינתו של ארצי. האלבומים שהוציא לאחר מכן, שעסקו בעיקר בחיפוש כיוון מוזיקלי, לא הצליחו במכירות, והותירו מעט מאוד להיטים.
בסוף 1975 העלה ארצי את המופע "משחקי 26", שנקרא כך משום גילו. בעקבותיו יצא האלבום "משחקי 26". שירי המופע והאלבום תיארו את חייו של כוכב הפופ בן ה־26 שלמה ארצי, וכללו שירי געגוע לילדות כ"שיר התנועה" ו"החברים הישנים", לצד שירים הומוריסטיים כ"המציל", "הבלדה על אפרים" ו"יוסי בן 26", שנכתב כשיר המשך לשירו של ע. הלל "יוסי, ילד שלי מוצלח". את המופע הפיק מוזיקלית אלדד שרים, שגם הלחין עבורו את השירים "בואו ונשחק משחק", "המזדנבות" (הנקרא בשם נרדף "המעריצות") ו"משחקי 26", שכתב ארצי, ואת "שיר אהבה" ("כשלא היה לך בית...") שכתב יהונתן גפן.
עוד באותה שנה הוציא ארצי את אלבום הילדים "שלמה ארצי שר ומספר לילדים על יאן הגמד" במשותף עם אילן גלבוע, שגם הלחין חלק מהשירים.
חיפוש הכיוון המוזיקלי של ארצי התבטא בעיקר באלבומו "יש לי אישה, ילדה ולמברטה ואני גר בתל־אביב", שראה אור בשנת 1976. האלבום כלל שירי משוררים כ"מקום היסטורי" ו"מותר לומר" שכתב נתן אלתרמן ו"אני רוצה תמיד עיניים" שכתב נתן זך, לצד שירים בסגנונות מוזיקליים שונים, כ"אהבה 1,5,2,5" בסגנון דיסקו או "יש לי אישה, ילדה ולמברטה ואני גר בתל־אביב" בסגנון הסווינג. ארצי כתב והלחין את רוב שירי האלבום, שכלל גם ביצוע מחודש ל"פתאום עכשיו, פתאום היום". את השירים עיבד והפיק מוזיקלית אילן גלבוע.