Mientras que Colbert cómicamente declara que su apellido es francés, tiene una decimoquinta o decimosexta parte de ascendencia irlandesa (una de sus tatarabuelas paternas era de ascendencia alemana e inglesa). Muchos de sus ancestros emigraron desde Irlanda hacia Estados Unidos en el siglo XIX, antes y durante la Gran Hambruna irlandesa. Originalmente, su apellido se pronunciaba /ˈkoʊlbərt/ (kohl-bərt) en inglés; el padre de Stephen, James, quería pronunciarlo koʊlˈbɛər/ (kohl-bair), pero mantuvo la otra pronunciación por respeto a su padre. James le ofreció a sus hijos la posibilidad de pronunciarlo como ellos quisieran. Stephen empezó a utilizar la pronunciación koʊlˈbɛər/ (kohl-bair) cuando se transfirió a la Universidad Northwestern, tomando ventaja en la oportunidad de reinventarse en un lugar donde nadie le conocía.