Silsbee ble først kalt da den ble knyttet til Gulf, Beaumont, and Kansas City Railway i 1894. Den fikk nytt navn etter ibvestoren Nathaniel Silsbee fra Bostonsom hadde hjulpet med midler for jernbanen. Jernbanen var John Henry Kirbys prosjekt, og han skulle snart starte i byen.