记忆体取代威廉姆斯管，并增加了三组索引暂存器（Index register）。为了支援它的新功能，它的处理器採用新的指令集，每个字组（word）扩展到 36-bit，这个指令集架构被接下来的IBM 700/7000系列所继承。程式语言中，包括Fortran与LISP，都是在IBM 704上开发的。马克思·马修斯（Max Mathews）在IBM 704上开发出第一个电脑音乐程式，MUSIC。1962年约翰·拉里·凯利使用IBM 704，完成声音合成。他研制的声音合成机在马克斯·马修斯的伴奏下唱歌。