A-flat major
Fue escrita en la tonalidad de Sol mayor antes de ser cambiada en un semitono en La bemol mayor con un truco de velocidad. Si bien se entiende que comúnmente Brian Wilson compuso la mayoría de la música de "Pet Sounds", en "Caroline, No" era una de las tres canciones en las que Asher aportó ideas musicales en lugar de actuar únicamente como un co-letrista; los otras dos son "That's Not Me" y "I Just Wasn't Made for These Times".