1928年、チャーリー・ジョンソン楽団にて初録音を行なう。編曲も手がけ、翌年には自身の楽団を結成。1930年から翌年にかけてフレッチャー・ヘンダーソンと共演し、彼の楽団のチーフ・アレンジャーとなる。その後は短期間だがデトロイト出身のMcKinney's Cotton Pickersを率いたのち1932年にはニューヨークに戻り、チュー・ベリー（テナー･サックス）、テディ・ウィルソン（ピアノ）、シドニー・カトレット (ドラムス)、ディッキー・ウェルズ（トロンボーン）などとビッグバンドでの演奏活動をした。カーターの編曲は洗練されており、複雑巧緻で、『Blue Lou』を含む多数の楽曲が他のバンドに取り上げられたほか、デューク・エリントンなどにも編曲を提供している。その手腕は卓越したもので、中でも『Keep a Song in Your Soul』（フレッチャー・ヘンダーソン作、1930年）、サックスの流れるような編曲の『Lonesome Nights』『Symphony in Riffs』（1933）などが特筆される。1930年代初期にはジョニー・ホッジスとともに主要なアルト・サックス奏者のひとりと目された。この頃、再び手にするようになっていたトランペットの演奏機会も増え、ソロも取るようになった。1932年、カーターの名前が初めてクレジットされたレコード『Tell All Your Day Dreams to Me』（クラウン・レーベル）発売。名義は「Bennie Carter and his Harlemites」となっている。この楽団の活動期間は短かったが、ニューヨークのハーレム・クラブへの出演のほか、いくつかの素晴らしい録音をコロムビア、オーケー、ヴォーカリオンなどに残している。オーケー・レーベルへの録音では、カーター自身の愛称ともなった「チョコレート・ダンディーズ」の名義を用いた。1933年10月録音のチョコレート・ダンディーズ名義による 『Once Upon A Time』（ OKeh 41568、続いてDecca 18255、Hot Record Society 16としてリイシューされた)におけるトランペット・ソロは長い間ソロ演奏の金字塔とされた。また、同年にはイギリスのバンドリーダー、スパイク・ヒューズと眩惑的なビッグバンド･セッションを行なっている。このセッションで録音された18曲はイギリスのみでリリースされ、名義は『Spike Hughes and His Negro Orchestra』となっていた。この常時14名から15名の編成によるバンドにはヘンリー"レッド"アレン (トランペット)、ディッキー・ウェルズ (トロンボーン)、ワイマン・カーヴァー(フルート)、コールマン・ホーキンス(サックス)、J.C. Higginbotham(トロンボーン)、チュー・ベリー(サックス)などが在籍していた。 この時期、カーターが残した楽曲には『Nocturne』『Someone Stole Gabriel's Horn』『Pastorale』『Bugle Call Rag』『Arabesque』『Fanfare』『Sweet Sorrow Blues』『Music at Midnight』『Sweet Sue Just You』『Air in D Flat』『Donegal Cradle Song』『Firebird』『Music at Sunrise』『How Come You Do Me Like You Do』などがある。
「DOWN TOWN」「いつも通り」両曲とも、アルバム『SONGS』からのシングル・カット。「DOWN TOWN」はアルバム・バージョンよりモノラルに近い、別ミックスとなっている。また、1975年5月に発表されたエレックレコード唯一のプロモーション盤にも収録された。「DOWN TOWN」は1974年春、ロック関係の若いミュージシャンに発注した作品を、キャラメル・ママが演奏するという企画で、キングトーンズの15周年記念アルバムが計画された。この頃2人で組んで何か作品を作ろうと話し合っていた山下達郎と伊藤銀次は早速、キングトーンズのライヴを見に行き、10日程で書き上げた3曲のうちの1曲。伊藤とコンビを組むきっかけについて山下は「もともと、僕が初めて福生に行ったそのときに銀次がいてね。その頃は丁度“ごまのはえ”で上京して福生にいたから。銀次もとても知的な男なので、当時は大滝さんのお茶の友っていうかね。それ以来、いつも朝まで雑学の応酬。そうやってダベってた時に出た話が、向こうはなんでチームで作品を作るんだろうと。向こうのポップスの作家はみな複数で仕事をしてる。一人きりより共作の方が可能性が広がるからいいんだろうっていう話で。そこから銀次と何か作ってみようということになった。ただ、僕らは職業作家みたいに、テープ渡してお願いねっていうんじゃなくて、いつも顔つき合わせて作ってたんです。それは本当の意味でのコラボレーションだった」という。伊藤は制作過程について「お互いに曲を持ち寄ってやろうってことで。お互いに宿題として作ってくることにしてテイク・ワンの事務所に集まって曲を作ろう、と。それで持って来たら達郎が何も出来てないんです。僕は“ダウンタウンへくり出そう”そこしか出来てなかったんですね。達郎に相談して『これテーマ良いのないかな』って言ったら、『こういうのが良いんじゃないか』っていうんで出来たんです。結局、そのキングトーンズ15周年のレコードの企画がなくなっちゃったんです。それでいよいよシュガー・ベイブがナイアガラ・レーベルからレコーディングに入るという話が決まって、達郎が『ダウン・タウン』すごく気に入ってね。『これやりたいんだけど、いいかな』って、『いいんじゃない?』って感じでレコーディングされたわけです」と答えている。歌詞については「曲の詞らしい詞を初めて書いた曲。つまりGSとか、そういうのを逸脱して、やっとなんか日本のポップスを始めようと書いた詞ではないかと思います。この頃から、僕は変わってないんだなという気がします」とし、「七色のたそがれ」と「シャボン玉」というモチーフはロス・プリモス「ラブユー東京」から取られたという。しかし、実際に曲を書いて持っていったのは彼らだけで、企画自体が立ち消えになってしまったため、始まったばかりの『SONGS』のレコーディング曲リストに加えられた。残る2曲も、「遅すぎた別れ」（『NIAGARA TRIANGLE Vol.1』収録）と、「愛のセレナーデ」（フランク永井のシングル「WOMAN」カップリング）として、後に発表された。リズムパターンについて、アイズレー・ブラザーズ（The Isley Brothers）「If you were There」からの影響を以前から指摘されてきたが、30周年記念盤『SONGS 30th Anniversary Edition』収録のオリジナル・カラオケを聴いた村松邦男によれば「この曲はクラヴィネットが重要なポイントになっているんだけど、クラヴィの音質と、僕のストラトキャスターの音質の周波数特性が、すごくよく似ているんですよ。互いにリズムをフォローしあっていて、しかも音が似ているから、あの独特の気持ちいいリズム・ニュアンスを生んでいるということに今回初めて気が付いたんです」と答えている。後に山下のライヴ・アルバム『JOY』にライヴ・ヴァージョンが収録、さらに2012年にはオールタイム・ベスト・アルバム『OPUS 〜ALL TIME BEST 1975-2012〜』にも収録された。また、この曲を最初にレコーディングするはずだったキングトーンズも、結成35周年記念アルバム『SOUL MATES』にて、村松の編曲でこの曲を取り上げている。そのほか、坂本龍一総合監修による“音楽の学校”『commmons: schola』にて、「日本の歌謡曲・ポップス」をテーマにした2016年発売の第16巻に収録された。「いつも通り」もアルバム『SONGS』からシングル・カットされた大貫妙子の楽曲で、アルバム収録のものと同じ。山下によればバンドのメンバーがようやく固定し、そろそろライブハウスなどの仕事がコンスタントに入り始めた頃、シリータ・ライト（Syreeta Wright）に影響を受けて書かれたという。この曲は『SONGS』のオリジナル・マスターでのCD化にあわせて行われた『山下達郎 Sings SUGAR BABE』に大貫がゲスト出演した際に歌われ、ライブ・アルバム『LIVE'93 Shooting Star in the Blue Sky』にボーナス・トラックとして収録された。また、この曲は山下にとって、生まれて初めてストリングスを書いた曲で、弦のラインは坂本に褒めてもらったという。2015年にリリースされた『SONGS』の40周年盤『SONGS -40th Anniversary Ultimate Edition-』のCD&アナログW購入者を対象に、非売品「DOWN TOWN」復刻アナログシングルが抽選でプレゼントされた。