כשהשארקס החלו את עונת ה-NHL הראשונה שלהם, עונת 1991/92, היה אולם הקבע שלהם בסן חוזה רק בתחילת בנייתו. השארקס נאלצו לשחק את משחקיהם הביתיים ב"קאו פאלאס", בעיר דיילי סיטי הצמודה לסן פרנסיסקו. האולם היה כה מיושן שכבר ב-1967 סירבה קבוצת ה-NHL הקודמת של האזור, קליפורניה סילס, לשחק בו.
כוכב הקבוצה באותן שנים היה דאג וילסון, מגן ותיק שנרכש משיקגו בלאקהוקס. בשער עמד שוער חדש ב-NHL, הלטבי ארתורס אירבה. אולם שניהם לבדם לא יכלו להציל את הקבוצה בשנותיה הראשונות ממאזנים רעים מאוד, כאשר ב-1991/92 סיימה עם 17 ניצחונות מול 58 הפסדים ו-5 תיקו, ובעונת 1992/93 הידרדרה עוד למאזן של 11 ניצחונות, 71 הפסדים ו-2 תיקו. 71 ההפסדים קבעו שיא NHL שלילי.
1994 - 1995: בית קבע והצלחות ראשונות.
לפני עונת 1993/94 יכלו השארקס לעבור לבית הקבע שלהם, "סן חוזה ארנה" (כיום סאפ סנטר), שזכה לכינוי "מֵכל הכרישים". הם הצטיידו במאמן חדש, קווין קונסטנטין, וגם ברכש של כוכבים וותיקים ומנוסים - החלוצים הרוסים סרגיי מקארוב ואיגור לריונוב והמגן הלטבי סנדיס אוזולינש, כשמאחור הפגין ארתורס אירבה יכולת טובה בשער. השארקס סיימו עם מאזן של 33 ניצחונות מול 35 הפסדים ו-16 תיקו, ובכך קבעו שיא NHL חדש עם שיפור של 58 נקודות בטבלה לעומת העונה הקודמת. המאזן הספיק לעלייה ראשונה לפלייאוף מהמקום השמיני בחטיבה המערבית, מקום שהבטיח סדרה קשה מול המדורגת ראשונה, דטרויט רד וינגס. הסדרה נגררה לשבעה משחקים, כשלקראת סיום המשחק השביעי בדטרויט כבש חלוץ השארקס ג'יימי בייקר שער ניצחון שהשלים את ההפתעה והעלה את השארקס לסיבוב השני.
בסיבוב השני, מול טורונטו מייפל ליפס, שמטו השארקס יתרון של 3:2 בסדרה ונוצחו בה בשבעה משחקים.
עונת 1994/95, שקוצרה בשל סכסוך עבודה שהשבית את הליגה במשך ארבעה חודשים, הסתיימה בתוצאה כמעט זהה. השארקס עלו לפלייאוף מהמקום השביעי במערב, והפתיעו את המדורגת שנייה קלגרי פליימס משער ניצחון של ריי ויטני בהארכה השנייה של המשחק השביעי. בסיבוב השני הובסו השארקס על ידי דטרויט רד וינגס.
1996 - 1997: כישלונות ובניה מחודשת.
עונת 1995/96 הייתה שנה של שינוי בקבוצה, כאשר לריונוב ואוזולינש עזבו במהלכה, וארתורס אירבה, ששבת בעקבות סכסוך חוזי בתחילת העונה ולאחר מכן נפצע במהלכה, עזב בסיומה. למרות רכש של החלוץ אוון נולן מקולורדו אוולאנש נכשלה הקבוצה ולא עלתה לפלייאוף.
עונת 1996/97, עם אל סימס כמאמן, לא הייתה שונה בהרבה. הקבוצה התנחמה בהמשך הבנייה לעתיד כשההימור על טוני גרנאטו, חלוץ ששב מפציעת ראש קשה בעונה הקודמת, השתלם, וגרנאטו הצטיין בהתקפה לצידו של נולן.
1998 - 2002: עידן דריל סאטר ועלייה לכוון הצמרת.
השארקס התייצבו לעונת 1997/98 עם רכש משמעותי - השוער מייק ורנון שזכה בגביע סטנלי עם דטרויט רד וינגס והיה ה-MVP של הפלייאוף עונה קודם לכן. אל עמדת המאמן נכנס דריל סאטר, שחקן עבר וחלק ממשפחה של שישה אחים ששיחקו כולם ב-NHL. עם הרכש החדש חזרו השארקס לפלייאוף למרות מאזן שלילי, אולם נוצחו בסיבוב הראשון על ידי דאלאס סטארס. עונת 1998/99 הייתה העתק כמעט מדויק, כאשר הפעם הדיחה את השארקס בפלייאוף קולורדו אוולאנש.
גם בעונת 1999/2000 עלו השארקס לפלייאוף לאחר שבפעם הראשונה סיימו את העונה הרגילה במאזן חיובי, אולם המאזן הספיק רק לדירוג במקום השמיני במערב והביא למפגש פלייאוף עם סנט לואיס בלוז, שסיימה את העונה עם המאזן הטוב ב-NHL. כמו ב-1994, הפתיעו השארקס בסדרה מכוננת מבחינתם והדיחו את הבלוז בשבעה משחקים, ובכך השיגו ניצחון ראשון בסדרת פלייאוף מזה חמש עונות. בסיבוב השני, ללא הקפטן אוון נולן הפצוע, הודחו השארקס על ידי דאלאס סטארס. במהלך העונה הציגו השארקס לראשונה למספר משחקים את השוער הרוסי יבגני נבוקוב.
בעונת 2000/01 כבר היה נבוקוב השוער הראשון של הקבוצה, וזכה בתואר רוקי השנה ב-NHL שהביא לו את גביע קאלדר. גם ההתקפה התחזקה עם הרכש של הכוכב הפיני טמו סלאנה ממייטי דאקס אוף אנהיים. למרות עונה רגילה של 95 נקודות בטבלה - העונה הטובה בתולדותיהם - נוצחו השארקס בסיבוב הראשון של הפלייאוף על ידי סנט לואיס בלוז.
נבוקוב המשיך להצטיין גם בעונת 2001/02 בעוד ההתקפה התחזקה עוד עם החלוץ הוותיק אדם גרייבס. השארקס שיפרו את מאזנם מהעונה לשעברה עם 99 נקודות בטבלה וזכו לראשונה בתולדותיהם באליפות הבית הפסיפי. בפלייאוף המשיכה הקבוצה לשחק טוב והדיחה בקלות את פיניקס קויטיס בדרך למפגש בסיבוב השני עם האלופה היוצאת קולורדו אוולאנש. השארקס שמטו יתרון 3:2 בסדרה והודחו בצורה דרמטית לאחר שנוצחו בביתם בהארכה במשחק השישי, ולאחר מכן בדנוור במשחק השביעי והמכריע.
2003: שינוי בעלות ועונה של תוהו ובוהו.
את המירוץ היציב של הקבוצה לצמרת קטעה עונת 2002/03, כאשר לפניה מכרו האחים גאנד את הקבוצה לקבוצת משקיעים מקומית. בהנחיית המשקיעים החדשים עברה הקבוצה מהפך מן היסוד. יבגני נבוקוב שבת מפעילות בשל סכסוך חוזי, ושחקנים רבים אחרים עזבו את הקבוצה בסדרת עסקאות תמוהה, כאשר השיא היה מכירתו של הקפטן הוותיק אוון נולן לטורונטו מייפל ליפס. הבעלים החדשים ניסו להיפטר גם מטמו סלאנה, אולם לסלאנה היה סעיף בחוזהו שמנע את מעברו. השארקס סיימו אחרונים בבית הפסיפי והחמיצו את הפלייאוף לראשונה מאז 1997. המאמן סאטר פוטר במהלך העונה והוחלף על ידי רון וילסון. סלאנה עזב לבסוף בסיום העונה כשחקן חופשי.
2004 - 2014: קבוצה משמעותית בליגה.
את עונת 2003/04 החלה הקבוצה עם רון וילסון כמאמנה החדש ועם דאג וילסון (אין קשר משפחתי), מי שהיה כוכב הקבוצה בשנים הראשונות לקיומה, כמנהל. יבגני נבוקוב חזר לשער, והשארקס סיימו כאלופי הבית הפסיפי עם 104 נקודות בטבלה - הפעם הראשונה שהקבוצה עברה את גבול 100 הנקודות. בסיבוב הראשון בפלייאוף הביסו את סנט לואיס בלוז בחמישה משחקים, ובסיבוב השני מול קולורדו אוולאנש כמעט שמטו יתרון של 3:0 בסדרה לפני שניצחו אותה בשישה משחקים. בפעם הראשונה עלתה הקבוצה לסדרת גמר החטיבה המערבית.
בגמר החטיבתי פגשו השארקס את קלגרי פליימס עם מספר פנים מוכרות - מאמנם עד העונה הקודמת, דריל סאטר, והשוער הפיני מיקה קיפרוסוף שהיה מחליפו של נבוקוב בשארקס והועבר לפליימס במהלך העונה. חמשת המשחקים הראשונים הלכו נגד הביתיות, אולם במשחק השישי בקלגרי ניצחו הפליימס והשלימו ניצחון בסדרה.
עונת 2004/05 בוטלה בשל סכסוך עבודה בליגה, וכשהליגה חזרה לפעילות בעונת 2005/06 הציפיות מהשארקס היו גבוהות. התחלה רעה של העונה, כולל עשרה הפסדים רצופים, הביאו את הקבוצה לבצע עסקת ענק ולרכוש מבוסטון ברואינס את החלוץ המצטיין ג'ו ת'ורנטון. ת'ורנטון שינה לחלוטין את העונה של הקבוצה, סיים את העונה עם 125 נקודות עליהן זכה בגביע ארט רוס, והוסיף לו את גביע הארט כ-MVP של הליגה. חברו לקו ההתקפה, ג'ונתן צ'יצ'ו, נהנה מהאסיסטים של ת'ורנטון וכבש 56 שערים - המאזן הטוב בליגה שזיכה אותו בגביע מוריס "רוקט" רישאר. בשער חילק יבגני נבוקוב את העומס עם השוער הפיני וסה טוסקלה. השארקס עלו לפלייאוף, פגשו שוב את נאשוויל פרדטורס והביסו אותם למרות הפסד במשחק הראשון. בסיבוב השני פגשו השארקס את אדמונטון אוילרס, ניצחו בשני המשחקים הראשונים בבית, אולם במשחק השלישי נוצחו לאחר שלוש הארכות. הקבוצה לא התאוששה מההפסד המכאיב, והאוילרס ניצחו בשלושת המשחקים הבאים ואת הסדרה כולה.
עונת 2006/07 החלה מצוין, אולם לקראת אמצעה סבלה הקבוצה ממכת פציעות. כדי להתגבר עליה ביצעו השארקס רכש גדול במועד סיום ההעברות של העונה, ורכשו את קרייג ריבט ממונטריאול קנדיאנס ואת החלוץ הוותיק ביל גרין מפילדלפיה פליירס. בעזרת הרכש סיימו השארקס את העונה עם מאזן שיא של 51 ניצחונות, 26 הפסדים ו-5 הפסדים בהארכה/מכות עונשין - 107 נקודות בטבלה. בפעם השנייה ברציפות הדיחו השארקס את נאשוויל פרדטורס בחמישה משחקים. בסיבוב השני שמטו הפרדטורס יתרונות מבטיחים בשני משחקים בדרך להפסד מול דטרויט רד וינגס בשישה משחקים.
עונת 2007/08 הייתה עוד עונה מצוינת ליבגני נבוקוב בשער ולג'ו ת'ורנטון בהתקפה עם 96 נקודות. ההתקפה התחזקה גם בחלוץ הוותיק ג'רמי רוניק ששקל לפרוש לפני תחילת העונה. השארקס זכו באליפות הבית הפסיפי עם שיא מועדון חדש של 108 נקודות. השארקס עברו את קלגרי פליימס בשבעה משחקים, כאשר רוניק כובש שני שערים ומוסר שני אסיסטים במשחק המכריע. בסיבוב השני כשלו השארקס מול דאלאס סטארס בשישה משחקים דרמטיים שארבעה מהם הגיעו להארכהות - המשחק השישי לבדו הגיע לארבע הארכות לפני שהסטארס כבשו את השער המכריע של הסדרה. בסיום העונה פוטר המאמן רון וילסון ובמקומו מונה עוזר מאמן דטרויט רד וינגס סקוט מקללן.
לפני עונת 2008/09 ביצעו השארקס רכש מסיבי לחיזוק הגנה שלהם, כשבמרכזו עמד כוכב ההגנה הוותיק רוב בלייק. במהלך העונה שנראתה כמוצלחת במיוחד המשיכו השארקס להתחזק בשחקנים וותיקים בעלי ניסיון פלייאוף עשיר, והחזירו את החלוץ בן ה-43 קלוד למיה שחזר אחרי חמש שנות פרישה. השארקס סיימו את העונה עם המאזן הטוב ביותר בליגה - 53 ניצחונות מול 18 הפסדים ו-11 הפסדים בהארכה/מכות עונשין, ובסך הכל 117 נקודות בטבלה - ועל כך זכו לראשונה בתולדותיהם בגביע הנשיאים שהבטיח להם יתרון ביתיות לאורך כל הפלייאוף. הציפיות הגדולות הסתיימו באכזבה גדולה כאשר השארקס הודחו על ידי אנהיים דאקס כבר בסיבוב הראשון.