1988年にドナルド、スーザンのサザーランド夫妻（Donald & Susan Sutherland、俳優のドナルド・サザーランドとは別人）によって設立され、アメリカ合衆国のアリゾナ州テンピで開業。1995年アリゾナ州ツーソンにフランチャイズ一号店を出店して以降、全米各地に1300店舗を超える店舗を出店し、一大チェーンとして発展した。ニューヨーク・タイムズスクエアに旗艦店を持ち、アラスカやハワイ、カナダ、カリブ海地域、グアムやプエルトリコにも出店した。2004年ローレンス・モルツが相談役パートナーに就任。 澤田貴司氏にコールド・ストーン・クリーマリーを紹介し、2005年に澤田氏がコールド・ストーン・クリーマリー・ジャパンの代表取締役会長に就任した。2005年（平成17年）11月3日、初の米国外進出第1号店舗として東京都港区・六本木ヒルズに出店した。日本での店舗展開は順調で、現在は北海道・関東・東海・関西・九州の各地方で店舗を構えている。さらに2006年7月15日には韓国ソウル中心部の鍾路地区へ出店し、アジア地区への浸透を進めている。
アイスクリームのオーダーに際して、最大サイズの"Gotta Have It"オーダーおよびチップの支払いがあった場合（その他、リクエストがあった場合）には、クリマール(アイスを顧客に提供する役割名)がアイスを混ぜ合わせながら、「Make People Happy」の気持ちの表現として歌を歌うサービスを行っており、陽気なメロディに乗せて従業員全員が歌うことがある。主に歌われるのはミッキーマウス・マーチ、ハイホー、ウィッチ・ドクター等の替え歌である。日本の店舗では、サイズの大小やチップの有無に関係なく歌が歌われる。但し、歌を聴きながら待っているのが恥ずかしいという客にも配慮しており、客側から歌をキャンセルすることも出来る。
最大の特徴はオーダー後にアイスクリームとナッツやフルーツなどのミックスイン（トッピングの呼称）を-9℃に冷やしたみかげ石の上で混ぜ合わせ、客ごとに一品物の「オリジナルアイスクリーム」を提供するというもので、ブランド名の由来にもなっている。独特の高級感と、客の目の前で混ぜ合わせるというパフォーマンスを売りにしている。アイスクリームのサイズは、小さい物から順に"Like It"（ライクイット）、"Love It"（ラブイット）、"Gotta Have It"（ガッタ ハブ イット）、および持ち帰り用の"Take Out Pint"（テイクアウトパイント）と呼称される。
元朝日新聞社国際本部副部長村山富美子は妹。朝日新聞社初代社主村山龍平は祖父。朝日新聞社社主は上野尚一（2016年死去）と共同で務める。
2008年6月6日にテレビ朝日（現・テレビ朝日ホールディングス）に対して朝日新聞社の発行済み株式38万株（11.08％）を234億4000万円で売却し、31万9千株（9.97％）を香雪美術館に寄贈した。朝日新聞社は村山の申し出に応じてテレビ朝日株式5％分1株15万円、総額75億4500万円で購入し村山はテレビ朝日株を香雪美術館に寄付した。これで村山の持ち株は46万株になった。2009年5月12日に村山が所有する同社株式46万株のうち、2万株を3200万円で従業員の朝日新聞社社員持株会に譲渡。これにより朝日新聞社従業員持株会が同社株式13.9％を保有する筆頭株主になった。このほか村山は同社株式2万株を財団法人朝日新聞文化財団に寄付した。これで村山の同社持株数は42万株、持株比率は13.3％になった。2009年12月10日朝日放送に対して朝日新聞社の発行済み株式の2.31％に当たる7万4000株を34億7800万円で譲渡した。現在の朝日新聞社の持株数は35万3641株、持ち株比率は11.02％、第3位（上野尚一と同位）の株主である。
当初の計画は、敵陣地に潜水艦で近づき、一人ひとりが夜間隠密に上陸、航空機を焼き払ったり、司令部に進入して幹部を殺害したりして、一挙に戦局を逆転させるものであった。しかし、大戦も末期になると米駆逐艦による哨戒網が厳しく、潜水艦航路の安全性が極端に脅かされるようになったことから断念された。1944年12月にはアメリカ西海岸へ上陸し破壊活動をおこなうという作戦も立てられた。目的はロサンゼルス郊外のロッキード、ダグラス等の軍用機工場の破壊活動で、人目の付かないアルグエロ岬にゴムボートで上陸し山中に拠点を構築した後、車を奪いロサンゼルスへ突入するという計画だった。また、同時に大統領暗殺の作戦命令を受けたという証言者もいる。作戦に向けた本格的な訓練が行われ、1945年4月ごろには準備も整い発動を待っていたが、沖縄戦の激化のために中止となった。代わって1945年6月末に、マリアナ諸島のB-29爆撃機破壊を目的とした「剣号作戦」が計画された。一式陸攻30機にS特隊員を乗せてサイパン島・グアム島に強行着陸し、B-29を壊滅させる計画だった。7月には陸軍の空挺部隊300名による共同攻撃と、機銃を増設した銀河72機による直前の地上攻撃も計画に加えられた。さらに8月に広島・長崎に原子爆弾が投下されると、陸軍諜報機関の情報から原爆貯蔵庫があるとされたテニアンも攻撃目標に追加されて、大規模な作戦に発展した。山岡部隊は、青森県の三沢基地に移動、作戦準備に入ったが、同年7月におきた北海道空襲の際に三沢基地も被害をうけ、作戦に使用する一式陸攻の大半が破壊されてしまったため、作戦決行日は8月19-23日に延期された。そして、出撃直前になってのポツダム宣言受諾により、作戦は中止となった。山岡部隊は、一度も実戦に投入されることなく解散した。