Über die Jugend und Schulausbildung von Harvey Colvin ist nichts überliefert. Er arbeitete 38 Jahre lang für die "United States Express Company". Seit wann er in Chicago lebte, ist ebenfalls nicht gesichert. Dort schlug er eine politische Laufbahn ein. Unmittelbar vor seiner Zeit als Bürgermeister war er Stadtkämmerer. Im Jahr 1873 wurde er als Kandidat der "People’s Party" zum Bürgermeister von Chicago gewählt. Dabei setzte er sich gegen den kommissarischen Bürgermeister Lester L. Bond durch, der das Amt seit dem Rücktritt von Joseph Medill im August jenes Jahres ausgeübt hatte. Colvins Amtszeit war von den Nachwirkungen der Brandkatastrophe von 1871 geprägt. Außerdem fiel sie in eine Wirtschaftskrise. Bald nach seinem Amtsantritt sah er sich Protestkundgebungen von etwa 12.000 Arbeitslosen gegenüber. Colvin hob eine von Medill erlassene Verordnung, die ein Verbot des Alkoholverkaufs an Sonntagen beinhaltete, wieder auf.