半導体技術の進歩によって主記憶装置のビット単位の単価が劇的に下がるまでは、主記憶装置は高価であり、大型のメインフレームでも主記憶装置の容量は限られていた。そのため、より少ないビット数でより多くの機能を実行する命令セットが必要とされた。また、コンパイラ技術が未発達の段階では、高級言語の命令を単純な命令の組み合わせに置き換える事よりも、高級言語の命令に直接対応するような命令が必要とされた。
これらの多機能な命令を実装するにはマイクロプログラム方式が適していた。
その後、キャッシュメモリの活用や、複雑な命令を排除してその分をレジスタに充てることでより高性能にできるという考えが生まれ、マイクロプログラムによる複雑な命令を廃したRISCにつながる。
欠点.
マイクロプログラムと著作権.
マイクロプログラム（マイクロコード）はプログラムの一種として、一般のプログラムと同様に著作権で保護されるものと判示されている。インテルとAMD間の互換CPUに関する争いではマイクロコードのライセンスも争点になっている。尚、ワイヤードロジックの場合、パターンが回路配置利用権で保護される。
実装.
マイクロプログラム方式では、（コンピュータの構成要素である）プロセッサ自体を、さらに小さな制御装置や記憶装置や命令セットから成る小さなコンピュータであるとみなして考えることが多い。このとき、この「さらに小さな〜」などそういったものを「マイクロ〜」と呼ぶ。簡単に類推可能なので以下では特に説明せずそのような用語を使う。
マイクロプログラムはCPUを制御するビット列となる。根本的な進歩はCPU制御がコンピュータプログラムになったことである。つまり、複雑な電気回路の設計変更（すなわち従来のCPUの制御）がプログラムの変更に転換されたのである。
以下、コンピュータ内部をいくつかに分けて解説する。
マイクロシーケンサがコントロールストアの次のワードを取り出す。シーケンサとはカウンタのようなもので、コントロールストアの一部のデータにしたがってジャンプする（つまり値をカウントアップして指し示す場所を変化させる）が、場合によっては命令レジスタの内容にしたがってジャンプする。最も単純なシーケンサはコントロールストアの数ビットをロードするレジスタである。