Diecezja została kanonicznie erygowana 27 stycznia 1981 roku przez papieża Jana Pawła II. Wyodrębniono ją z archidiecezji San Francisco. Pierwszym ordynariuszem został dotychczasowy biskup pomocniczy San Francisco Pierre DuMaine (ur. 1931). Pierwotną katedrą diecezjalną był kościół św. Patryka, który obecnie służy społeczności pochodzenia wietnamskiego. Od roku 1990 katedrą jest bazylika św. Józefa, którą poddano renowacji po trzęsieniu ziemi z roku 1989. Ucierpiało wówczas również sulpicjańskie seminarium św. Józefa, które ostatecznie wyburzono, a teren sprzedano, by pokryć koszty renowacji katedry.