Als Nachfolger seine Parteifreundes John Shelley wurde Joseph Alioto am 8. Januar 1968 Bürgermeister von San Francisco. Seine Kandidatur erfolgte nur zufällig, da der ursprüngliche Kandidat und bisherige Staatssenator J. Eugene McAteer 1967 nur zwei Monate vor der Bürgermeisterwahl verstarb. Daraufhin konnte er sich bei der Wahl mit einer von ihm bezeichneten „Art einer New Deal-Koalition von Arbeiter und Minderheiten, zuzüglich fahnenschwingender Italiener“ ("‚a kind of New Deal coalition of labor and minorities, plus flag-waving Italians.‘") gegen den Gegenkandidaten der Republikanischen Partei Harold Dobbs durchsetzen. Zu Beginn seiner Amtszeit gelang ihm die Aufrechterhaltung der öffentlichen Ordnung im Zuge der aufkommenden Proteste gegen den Vietnamkrieg und erklärte, dass er keine Gewalt dulden würde. Vielmehr forderte er junge militante Farbige auf „zu mir mit euren Problemen zu kommen, ehe er sie auf die Straßen hinaustragt“ ("‚come to me with your problems before you take them to the streets.‘"). Dadurch wuchs sein politischer Einfluss so schnell, dass er bereits auf der der Democratic National Convention 1968, dem Parteitag der Demokratischen Partei zur Nominierung des Präsidentschafts- und Vizepräsidentschaftskandidaten, die Nominierungsrede für Hubert H. Humphrey hielt. Auf dem Konvent wurde er als möglicher Kandidat für die Vizepräsidentschaft gesehen, wobei Humphrey sich für Edmund Muskie entschied.