Nunca mantuvo buenas relaciones con el valido de su hermano, el Conde-Duque de Olivares, y fue utilizado por varios nobles contrarios a éste para intentar derrocarle; no obstante, Carlos siempre se mostró poco atraído por los asuntos políticos.