Charles av Bourbon var sønn av hertugen av Vendôme Karl IV av Bourbon, samt bror til kongen av Navarra Anton av Bourbon og prinsen av Condé Louis I av Bourbon.