Su especialidad pudieron ser los dichos cortantes y graciosos, uno de los cuales le costó el destierro a Sevilla en 1634, cuando al preguntarle el rey si había olivas en los pinares de Valsaín, Castañeda replicó: «Señor, ni olivas ni olivares», lo que el conde-duque tomó como una alusión maliciosa.