YMO結成以前、細野は、ドラマーの林立夫、シンガーのマナと共に自身の「イエロー・マジック・カーニヴァル」をカヴァーするというユニットを構想していた。だがこれは実現せず（その後マナは、ソロで「イエロー・マジック・カーニヴァル」をカヴァーしている）、続いて細野は林と佐藤博のユニットでマーティン・デニーの「ファイアークラッカー」をカヴァーすることを構想するが、これも佐藤が渡米したことにより実現しなかった。細野は当時のマネージャー（日笠雅水）にも人選を依頼し、日笠は坂本龍一を推薦した。1978年2月19日に行われた細野のソロアルバム『はらいそ』に収録される「ファム・ファタール」のレコーディングの際に、坂本龍一、高橋幸宏の2人と、初めて3人で顔を合わせることとなった。それまでにも坂本と細野は1975年、大滝詠一のアルバム「NIAGARA MOON」の録音時に顔合わせをしており、1976年には細野がティン・パン・アレーのツアーでサポートメンバーとして坂本を起用するという関係だった。一方、高橋と細野は学生時代から旧知の仲であったが、ミュージシャンとしての交流はサディスティック・ミカ・バンドが1975年の「ジャパン・ロック・フェスティヴァル」に出演した際、小原礼の代役で細野が演奏した事が一度あっただけだった。その日細野が2人を自宅に招き、3人はこたつを囲んだ状態で、おにぎりを食べながら（みかんという説もあるが、みかんはあったと三人は記憶している）会合を行った。細野が新たなグループのコンセプトを彼らに伝えたところ、2人は賛同し、ここで初めて“YMO”が結成される。このとき細野は2人に「マーティン・デニーの「ファイアー・クラッカー」をシンセサイザーを使用したエレクトリック・チャンキー・ディスコとしてアレンジし、シングルを世界で400万枚売る」（実際のメモには枚数は書かれていない）という自身のメモが書かれたノートを見せている。細野はメンバーが決まった後も、結成当初は横尾忠則をYMOのメンバーに加える構想があった。記者会見の当日、細野は横尾に対し会見に来るように伝えていたが、横尾はなぜか「行きたくなかった」とキャンセルした（真相は、会見当日が締め切りとなっていた仕事に専念するため）。黎明期YMOのトレードマークである“タキシード”も横尾の分含め4着用意されていたが、結局、横尾がメンバーに加わることはなかった。後に、結成前から坂本と組んでいたシンセサイザーのエキスパート松武秀樹が、サポートメンバーのプログラマーとして迎え入れられ、YMOの特徴であるシンセサイザーの自動演奏を一手に引き受けることになる。1978年7月10日、YMOはレコーディングを開始。1978年9月、松武秀樹をサポート・メンバーとしてライヴを日本楽器 池袋店東ショップ (YAMAHA) で行う。1978年10月18日、郵便貯金ホールにおいてライヴを開催。さらに10月25日から26日にかけ六本木ピットインにおいて「千のナイフ発売記念ライヴ」を開催。YMO結成後もしばらくは、メンバーは並行する形で別の音楽活動を行っていた。坂本は渡辺香津美とのツインバンド「KYLYN」、坂本のベーシスト2人、ドラマー2人など各パート2人体制により格闘技形式で演奏を行うコンセプト「カクトウギ・セッション」がそれである（これらには高橋、矢野顕子も参加）。また高橋は1979年6月までサディスティックスに在籍していた。初期には東京、六本木のジャズ・フュージョン系ライブハウス「六本木ピット・イン」などでYMO名義以外でも矢野顕子のライヴにゲスト出演を行ったり、KYLYN、カクトウギ・セッションなどに3人が参加し、YMOの曲も演奏していた。坂本の「千のナイフ発売記念ライヴ」にも3人が参加している。1978年11月25日、デビュー・アルバム『イエロー・マジック・オーケストラ』をアルファレコードより発売。アルファレコードは、同年秋にアメリカのA&Mレコードと業務提携しており、12月3 - 10日に紀伊國屋ホールで行われたライヴが来日していた副社長のトミー・リピューマの目に留まり、全米でデビューが決定したと語られてきたが、後に『ライヴ・アット・紀伊国屋ホール1978』（12月10日分収録）のライナーノーツの中で、全米デビューはそれより前に決まっていたと明かされている。1979年5月30日、デビュー・アルバムをアメリカのマーケット向けにリミックスしたアルバム『イエロー・マジック・オーケストラ（米国盤）』をA&Mレコード傘下のトミーの自己レーベル、ホライゾン・レコードから発売。リミックスは、エンジニアのアル・シュミットと細野が共同で行った。この米国盤は7月25日に日本でも発売された（日本ではオリコン・チャート最高20位）。日本盤との大きな違いとして、坂本のインスト曲「東風」が「Yellow Magic (Tong Poo)」にタイトル変更され、吉田美奈子のヴォーカルが加えられている。同時に、YMOを全世界に向けて売り出すプロジェクト「イエローオペレーション」が開始された。1979年8月2 - 4日には、ロサンゼルスのグリーク・シアターでチューブスの前座公演を行い（海外での初公演）、前座でありながらも観客が総立ちでアンコールを求めるなど、絶賛を浴びた。8月6日にはマダム・ウォンにて単独ライヴも行い、この頃から徐々にその存在が注目され始める。同年9月25日、2枚目のアルバム『ソリッド・ステイト・サヴァイヴァー』を発売（この時期、アメリカではリリース前にホライゾン・レーベルが倒産したため、オリジナルの形では発売されなかった）。オリコン・チャートの最高1位にランクインし、日本国内でのセールスはトータルで100万枚を越え、その名を幅広い世代に浸透させることとなった。同アルバム収録の「テクノポリス」「ライディーン」は、YMOのパブリック・イメージとなる。また「デイ・トリッパー」「ソリッド・ステイト・サヴァイヴァー」の2曲は海外でも評価が高く、名声を得た。なお、この2曲のみ鮎川誠（シーナ&ザ・ロケッツ）がゲスト・ギタリストで参加している。10月には初のワールド・ツアー「トランス・アトランティック・ツアー（YELLOW MAGIC ORCHESTRA TRANS ATLANTIC TOUR）」をイギリス・ロンドンのヴェニュー公演からスタート。ツアー中はテレビ、ラジオでも数多くのライヴ特番が組まれ、聴衆に対して媚を売る事なく黙々と楽器と向かい合う奇抜な演奏や真っ赤な人民服風のコスチュームなど、その独特なスタイルが注目を集めた。12月には帰国し、中野サンプラザにてライブを行った。凱旋公演となったライブでは、シーナ&ザ・ロケッツがオープニング・アクトを務めた。帰国する頃には日本でもYMOブームが起こっており、海外で火がついたYMOの人気が日本に逆輸入された形となった。海外でのライブツアーは、その日本人アーティストのほとんどが国内でヒットを出し、人気者になってから行うが、YMOは国内でヒットする前に行っている。これはスタッフが「YMOの音楽は国内よりも海外の方が人気になる」と予見しての事だった。こうしてYMOの日本国内での人気は圧倒的なものとなり、その人気は流行に敏感な若者はおろか、当時の小学生にまで広がっていった。若者がテクノカットをまね、竹の子族が「ライディーン」で踊るなど、YMOの影響は社会現象にまでなった。1980年3月からは初の国内ツアー「テクノポリス2000-20」が行われる。4月には、小学館の雑誌「写楽」の創刊イベント「写楽祭」にシーナ&ザ・ロケッツやスネークマンショーらと共に出演。同年6月には、スネークマンショーのコントを織り交ぜて制作された4枚目のアルバム『増殖』を発表。これは当初10万枚の限定盤として売り出される予定であったが、20万枚以上の予約が入ったため、通常盤としてリリースされた。同アルバムはオリコン・チャート初登場1位を記録。同年10月には第2回ワールド・ツアー「FROM TOKIO TO TOKYO」が、イギリス・オックスフォードのニュー・シアターから始まる。同ツアーは、8ヶ国、19公演で行われ、アメリカ・ロサンゼルスのザ・チャップリン・ステージ公演では、日本への衛星中継も行われた。ツアー中にアメリカのテレビ番組「ソウル・トレイン」に、日本人ミュージシャンとして初めての出演を果たしている。ツアーは12月の日本武道館での4日連続公演で締めくくられた。YMOは「世界に通用する（した）ジャパニーズ・バンド」と位置づけられることが多いが、当のメンバー達はむしろ、「世界に出かかってやめちゃったバンド」と考えているようである（1993年「再生」時の坂本の発言より）。「欧米で広く受け入れられた画期的なジャパニーズ・ユニット」という評価であるかどうかは、評論家および聴衆の間でも反応はさまざまである。