Våpenet ble hovedsakelig designet av Heinrich Vollmer ifra Mauser, og ble først produsert og godkjent for bruk av i 1934, men ble først tatt i bruk av militære enheter i 1935. Det ble brukt som standard maskingevær for infanteriet i 1930-årene, var hovedvåpen på armerte kjøretøy og militære fly til forsvarsbruk. Det ble først tatt i bruk under den spanske borgerkrig. Våpenet skulle etter intensjonen bli skiftet ut med den moderniserte utgaven av samme våpen, MG42, men det ble aldri produsert nok av sistnevnte til at dette ble gjort. Derfor ble MG34 brukt helt frem til slutten av den andre verdenskrig.