Według danych United States Census Bureau, miasto zajmuje całkowitą powierzchnię 461,5 km², z czego 8,6 km² (1,86%) stanowią wody. W okolicach San Jose znajduje się uskok San Andreas, który stanowi główne źródło aktywności sejsmicznej w Kalifornii. Najpoważniejsze trzęsienie ziemi w tym rejonie miało miejsce w 1906. Mniejsze, ale również poważne, trzęsienia ziemi odnotowano w latach: 1839, 1851, 1858, 1864, 1865, 1868 i 1891. Trzęsienie ziemi z epicentrum w Daly City w 1957 spowodowało pewne zniszczenia, jak również trzęsienie ziemi Loma Prieta, które miało miejsce w 1989. Oprócz uskoku San Andreas niedaleko miasta znajdują się także uskoki: Monte Vista, South Hayward, Northern Calaveras i Central Calaveras.