Formatet har sin opprinnelse tilbake til den politiske visesangeren Woody Guthries (1940) og påfølgende popularisert av den tradisjonelle popsangeren Frank Sinatras rekke av album på 1940- og 1950-tallet. Men begrepet er oftest assosiert med rockemusikk. Fra og med midten av 1960-tallet ble flere godt mottatte konseptalbum utgitt av en rekke rockeband, og som i seg selv førte til utviklingen av progressiv rock/kunstrock og rockeopera. Siden da har mange konseptalbum blitt utgitt over en rekke forskjellige musikalske sjangre. Det første moderne konseptalbum kan ha vært The Beach Boys’ (1966), men det konseptalbum som fikk største oppmerksomhet og betydning var The Beatles’ (1967). Konseptalbumet nådde dets høydepunkt på 1970-tallet i de ambisiøse albumene som Pink Floyds (1973) og The Eagles’ (1977).