음악과 인공지능

음악과 인공지능 또는 음악과 AI은 AI를 사용하여 음악을 생성하는 음악 소프트웨어 프로그램의 개발이다. 다른 분야의 응용 프로그램과 마찬가지로 음악에서의 AI도 정신적 작업을 시뮬레이션한다. 두드러진 특징은 AI 알고리즘이 과거 데이터를 기반으로 학습하는 기능이다. 예를 들어 컴퓨터 반주 기술에서는 AI가 인간 연주자의 연주를 들으면서 반주를 수행할 수 있다. 또한 인공지능은 라이브 공연에 반응하여 컴퓨터가 음악을 작곡하는 대화형 작곡 기술을 구동한다. 음악 작곡, 제작 및 연주뿐만 아니라 음악이 마케팅되고 소비되는 방식에 관한 다른 AI 응용 프로그램이 있다. 또한 여러 음악 플레이어 프로그램이 음악 음성 제어를 위해 음성 인식 및 자연어 처리 기술을 사용하도록 개발되었다. 현재 연구에는 음악 작곡, 연주, 이론 및 디지털 음향 처리 분야에서의 AI 응용이 포함된다. 제니퍼 왈셰나 홀리 허든과 같은 작곡가/아티스트는 몇 년 동안 공연 및 음악 작품에서 음악 AI의 측면을 탐구해왔다. 인간이 AI를 "모방"하는 또 다른 독창적인 접근 방식은 조르주 렌츠의 43시간 사운드 설치물인 현악 사중주에서 찾을 수 있다.

20세기 미술사학자인 에르빈 파노프스키는 모든 예술에는 세 가지 수준의 의미가 있다고 제안했다. 즉, 제1차 의미(자연적인 주제), 제2차 의미(관습적인 주제), 제3차 의미(주제의 본질적인 내용)이다. AI 음악은 이 중 가장 앞선 의미를 탐구하여, 일반적으로 음악 뒤에 있는 "의도" 없이 음악을 생성한다. 이로 인해 기계 생성 작품을 듣는 작곡가들은 명백한 의미의 부족으로 불안감을 느낀다.

역사
1950년대와 1960년대에는 인공지능으로 만든 음악이 완전히 독창적인 것은 아니었고, 사람들이 미리 정의하고 AI에게 제공한 템플릿에서 생성되었다. 이것이 규칙 기반 시스템으로 알려져 있다. 시간이 지나면서 컴퓨터 성능이 향상되면서 기계 학습 및 인공 신경망은 미리 정의된 템플릿 대신 AI에게 대량의 데이터를 제공하여 음악 제작 방법을 학습하도록 음악 산업을 지원할 수 있게 되었다. 2000년대 초반까지 인공지능 분야에서는 더 많은 발전이 이루어졌으며, 생성적 적대 신경망(GAN)과 딥 러닝이 AI가 이전보다 더 복잡하고 다양한 독창적인 음악을 작곡하는 데 사용되었다. 오픈AI의 뮤즈넷과 구글의 마젠타와 같은 주목할 만한 AI 기반 프로젝트는 다양한 음악 스타일을 모방하는 작곡을 생성하는 AI의 능력을 입증했다.

연표

인공지능이 음악에서 시작된 것은 전사 문제, 즉 연주되는 대로 정확하게 악보에 기록하는 문제에서 비롯되었다. 연주 시간과 음 길이를 자동적으로 기록하여 손으로 적절한 악보로 쉽게 옮길 수 있는 "피아노 롤"의 스케치인 마리 도미니크 조제프 앵그라멜 신부의 제안은 1952년 독일 엔지니어 J.F. 웅거와 J. 홀필드에 의해 처음 구현되었다.

1957년, 일리악 1호(일리노이 자동 컴퓨터)는 완전히 컴퓨터가 생성한 음악 작품인 "현악 4중주를 위한 일리악 모음곡"을 제작했다. 이 컴퓨터는 작곡가 레너드 아이작슨과 수학자 레자렌 힐러가 이 작업을 수행하도록 프로그래밍했다.
1960년, 러시아 연구원 루돌프 자리포프는 우랄-1 컴퓨터를 사용한 알고리즘 음악 작곡에 관한 세계 최초의 논문을 발표했다.

1965년, 발명가 레이 커즈와일은 음악 패턴을 인식하고 이를 통해 새로운 작곡을 합성할 수 있는 소프트웨어를 개발했다. 이 컴퓨터는 같은 해 퀴즈 프로그램 아이브 갓 어 시크릿에 처음 등장했다.

1983년, 야마하의 칸세이 음악 시스템이 추진력을 얻었고 1989년에 개발에 관한 논문이 발표되었다. 이 소프트웨어는 음악 정보 처리 및 인공지능 기술을 활용하여 간단한 멜로디에 대한 전사 문제를 기본적으로 해결했지만, 고수준의 멜로디와 음악적 복잡성은 오늘날에도 여전히 어려운 딥러닝 작업으로 간주되며 거의 완벽한 전사는 여전히 연구 주제이다.

1997년, Experiments in Musical Intelligence (EMI)라는 이름의 인공지능 프로그램이 바흐 스타일을 모방하는 작곡 작업에서 인간 작곡가보다 뛰어난 성능을 보인 것으로 나타났다. EMI는 나중에 창작자의 이름을 딴 더 정교한 알고리즘인 에밀리 하웰의 기반이 되었다.

2002년, 프랑스 작곡가이자 과학자인 프랑수아 파셰가 이끄는 소니 컴퓨터 과학 연구소 파리의 음악 연구팀은 라이브 음악가가 연주를 멈춘 후에도 작곡을 이어갈 수 있는 독특한 알고리즘인 Continuator를 설계했다.

에밀리 하웰은 음악 인공지능 분야에서 계속 발전을 거듭하여 2009년에 첫 앨범인 "From Darkness, Light"를 발표했다. 그 이후로 인공지능과 다양한 그룹이 더 많은 작품을 발표했다.

2010년, Iamus는 자신만의 스타일로 독창적인 현대 클래식 음악의 일부를 생성한 최초의 AI가 되었다. "Iamus' Opus 1"로 알려져 있다. 스페인 말라가 대학교에 위치한 이 컴퓨터는 다양한 음악 스타일로 완전히 독창적인 작품을 생성할 수 있다. 2019년 8월, 각 곡마다 가사와 멜로디가 포함된 12,197개의 MIDI 곡으로 구성된 대규모 데이터셋이 생성되었으며, 이는 딥 컨디셔널 LSTM-GAN 방식을 사용하여 가사에서 신경 멜로디 생성이 가능한지 여부를 조사하기 위해 만들어졌다.

생성형 인공지능의 발전으로 단순한 텍스트 설명에서 전체 음악 작곡(가사 포함)을 만들 수 있는 모델이 등장하기 시작했다. 이 분야에서 주목할 만한 두 가지 웹 애플리케이션은 2023년 12월에 출시된 스노 AI와 2024년 4월에 출시된 Udio이다.

소프트웨어 응용

처크

프린스턴 대학교에서 Ge Wang과 Perry Cook에 의해 개발된 ChucK는 텍스트 기반의 크로스 플랫폼 언어이다. 이 소프트웨어는 음악 작품에서 발견되는 이론적 기술을 추출하고 분류하여 학습한 기술로부터 완전히 새로운 작품을 합성할 수 있다. 이 기술은 스탠퍼드 노트북 오케스트라(SLOrk)와 프린스턴 노트북 오케스트라(PLOrk)에서 사용된다.

주크덱

Jukedeck은 사람들이 인공지능을 사용하여 비디오에 사용할 원본 로열티 프리 음악을 생성할 수 있는 웹사이트였다. 이 팀은 2010년부터 음악 생성 기술을 구축하기 시작했으며, 2012년에 회사를 설립하고 2015년에 웹사이트를 공개적으로 출시했다. 사용된 기술은 원래 규칙 기반 알고리즘 작곡 시스템이었으나, 나중에 인공 신경망으로 대체되었다. 이 웹사이트는 100만 곡 이상의 음악을 만드는 데 사용되었으며, 코카콜라, 구글, UKTV, 런던 자연사 박물관과 같은 브랜드들이 이 기술을 사용했다. 2019년, 이 회사는 바이트댄스에 인수되었다.

모르페우스
모르페우스(MorpheuS)는 퀸 메리 런던 대학교의 도리엔 헤레만스와 일레인 츄의 연구 프로젝트로, 마리 스크워도프스카 퀴리 EU 프로젝트의 자금 지원을 받았다. 이 시스템은 가변 이웃 탐색 알고리즘 기반의 최적화 방식을 사용하여 기존 템플릿 조각을 조각 전체에서 동적으로 변화하는 특정 수준의 조성 긴장을 가진 새로운 조각으로 변형한다. 이 최적화 방식은 패턴 감지 기술의 통합을 통해 생성된 음악에 장기 구조와 반복적인 주제를 강제할 수 있게 한다. 모르페우스가 작곡한 작품들은 스탠퍼드와 런던에서 열린 콘서트에서 연주되었다.

아이바

2016년 2월 룩셈부르크에서 탄생한 아이바는 모든 종류의 미디어를 위한 사운드트랙을 제작하는 프로그램이다. 아이바 뒤에 있는 알고리즘은 딥 러닝 아키텍처에 기반한다. 아이바는 또한 온 더 엣지라는 록 트랙을 작곡하는 데 사용되었으며, 타린 서던과의 협업을 통해 팝곡 러브 식을 만들기도 했다. 이를 통해 그녀의 2018년 앨범 "I am AI"가 제작되었다.

구글 마젠타
오른쪽|섬네일|'최면적인 앰비언트 일렉트로닉 음악'이라는 프롬프트로 MusicLM이 생성한 20초 길이의 음악 클립
구글의 마젠타 팀은 2016년 출범 이후 여러 AI 음악 애플리케이션과 기술 논문을 발표했다. 2017년에는 NSynth 알고리즘과 데이터셋을 발표했으며, 음악가들이 이 알고리즘을 쉽게 사용할 수 있도록 설계된 오픈 소스 하드웨어 악기도 발표했다. 이 악기는 그라임스 (음악가)와 YACHT와 같은 저명한 아티스트들이 자신의 앨범에서 사용했다. 2018년에는 Piano Genie라는 피아노 즉흥 연주 앱을 출시했다. 이후 Magenta Studio라는 5개의 MIDI 플러그인 모음이 출시되었는데, 이를 통해 음악 프로듀서들은 DAW에서 기존 음악을 발전시킬 수 있다. 2023년에는 자신들이 개발한 비공개 텍스트-음악 생성기인 MusicLM에 대한 기술 논문을 GitHub에 발표했다.

 스파이크 AI 
스파이크 AI는 스파이크 스텐트가 아들 조슈아 스텐트 및 친구 헨리 램지와 협력하여 개발한 AI 기반 오디오 플러그인으로, 트랙을 분석하고 믹싱 중에 명확도 및 기타 측면을 향상시키는 제안을 제공한다. 통신은 스파이크 스텐트의 개인 데이터로 훈련된 챗봇을 사용하여 이루어진다. 이 플러그인은 디지털 오디오 워크스테이션에 통합된다.

음악적 응용
인공지능은 제작자가 제공한 프롬프트에 따라 트랙의 반복을 제공함으로써 프로듀서가 음악을 만드는 방식에 영향을 미칠 수 있다. 이 프롬프트를 통해 AI는 아티스트가 추구하는 특정 스타일을 따를 수 있다. AI는 또한 음악 분석에서 사용되어 피처 추출, 패턴 인식 및 음악 추천에 사용되었다. 인공지능 기반의 새로운 도구들이 개발되어 AIVA (Artificial Intelligence Virtual Artist) 및 Udio와 같은 독창적인 음악 작곡 생성에 도움을 주고 있다. 이는 AI 모델에 이미 존재하는 음악 데이터를 제공하고 딥 러닝 기술을 사용하여 데이터를 분석하여 클래식 음악이나 전자 음악과 같은 다양한 장르의 음악을 생성함으로써 이루어진다.

윤리적 및 법적 고려 사항

두아 리파, 엘튼 존, 닉 케이브, 폴 매카트니, 스팅 등 여러 음악가들이 음악에서의 AI 사용을 비판하며 영국 정부에 이 문제에 대한 조치를 촉구하고 있다.

그라임스 (음악가)와 같은 일부 아티스트는 음악에서 AI 사용을 장려했다.

새로운 음악을 생성하는 데 도움이 되지만, 인공지능이 음악을 만들기 시작한 이후 많은 문제가 발생했다. 주요 우려 사항으로는 AI가 음악 제작을 대체하면서 경제에 미치는 영향, AI가 생성한 음악의 소유권 문제, 인간이 만든 음악 작곡에 대한 수요 감소 등이 있다. 일부 비평가들은 AI가 인간의 창의성을 감소시킨다고 주장하는 반면, 지지자들은 AI가 인간 음악가를 대체하기보다는 예술적 가능성을 확장하는 보조 도구로 본다.

또한, AI가 음악을 획일화할 수 있다는 우려도 제기되었다. AI 기반 모델은 종종 기존 트렌드를 기반으로 작곡을 생성하며, 이는 음악적 다양성을 제한할 수 있다는 우려가 있다. 이 우려를 해소하기 위해 연구자들은 더 미묘한 창의적 요소를 통합하여 더 큰 스타일적 다양성을 허용하는 AI 시스템을 개발하고 있다.

음악에서의 인공지능에 대한 또 다른 주요 우려 사항은 저작권법이다. AI가 생성한 음악 및 제작물의 소유권에 대한 많은 질문이 제기되었는데, 오늘날의 저작권법은 저작권 보호를 받기 위해서는 인간의 승인을 받아야 하기 때문이다. 한 가지 제안된 해결책은 창작물을 생성한 인공지능과 창작물에 기여한 인간 모두를 인정하는 하이브리드 법률을 만드는 것이다.

미국에서 현재의 법적 틀은 AI와 인간의 창작 과정의 차이에도 불구하고 전통적인 저작권법을 AI에 적용하는 경향이 있다. 그러나 AI가 전적으로 생성한 음악 결과물은 저작권 보호를 받지 못한다. 미국 저작권청 실무 편람에서 저작권청은 "인간 저작성이 부족한 작품"과 "인간 저작자의 창의적인 입력 또는 개입 없이 무작위적으로 또는 자동으로 작동하는 기계 또는 단순한 기계적 과정으로 제작된 작품"에 대해 저작권을 부여하지 않을 것이라고 밝혔다. 2022년 2월, 저작권 검토 위원회는 AI 생성 작품에 대한 저작권 신청을 거부했는데, 그 이유는 "저작권 주장 유지에 필요한 인간 저작성이 부족"하기 때문이었다. AI 학습에 저작권이 있는 음악을 사용하는 것도 논란의 주제가 되었다. 한 예로 작곡가, 작곡가, 음악 출판사의 전문 조직인 SACEM은 AI 음악 생성 스타트업인 Pozalabs에게 학습 모델에 자신들과 관련된 어떤 음악도 사용하지 말 것을 요구했다.

유럽 연합에서의 상황은 미국과 유사한데, 법적 틀이 저작권 보호를 받는 저작물에 인간 참여의 역할을 강조하기 때문이다. 유럽 연합 지식재산권 사무소와 유럽 연합 사법재판소의 최근 판례에 따르면, 독창성 기준은 저작물이 저작자의 지적 창작물이어야 하며, 제작 과정에서 이루어진 창의적인 선택을 통해 저작자의 개성을 반영해야 하며, 이는 명확한 수준의 인간 참여를 요구한다. 유럽 연합의 Horizon 2020 연구 및 혁신 프로그램의 자금 지원을 받는 reCreating Europe 프로젝트는 음악을 포함한 AI 생성 콘텐츠가 제기하는 도전을 탐구하며, 혁신을 장려하면서도 저작권 규범을 존중하는 법적 확실성과 균형 잡힌 보호를 제안한다. 아이바의 인정은 음악 작곡 분야에서 전통적인 저작자 및 저작권 개념에서 벗어난 중대한 변화를 의미하며, AI 아티스트가 음악을 발표하고 로열티를 받을 수 있게 한다. 이 수용은 아이바를 AI가 음악 제작 분야에서 공식적으로 인정받은 선구적인 사례로 기록한다.

스태빌리티 AI, 오픈AI, 구글과 같은 그룹이 인공지능에서 이룬 최근의 발전은 AI 음악을 포함한 생성 기술에 대한 막대한 양의 저작권 주장을 야기했다. 이러한 소송이 성공한다면, 이러한 기술 뒤에 있는 기계 학습 모델은 데이터셋이 퍼블릭 도메인으로 제한될 것이다. 윤리적 문제를 해결하려는 노력도 진행되고 있으며, Sound Ethics(음악 산업에서 윤리적 AI 사용을 홍보하는 회사)와 UC 어바인 간의 협력과 같이 윤리적 틀과 AI의 책임 있는 사용에 중점을 두고 있다.

음악 딥페이크
음악 AI의 더 새로운 발전은 딥페이크#오디오 딥페이크를 적용하여 기존 곡의 가사나 음악 스타일을 다른 아티스트의 목소리나 스타일에 적용하는 것이다. 이는 기술의 합법성 및 사용 윤리에 대한 많은 우려를 불러일으켰으며, 특히 예술적 정체성의 맥락에서 그렇다. 또한 이러한 작품의 저작자가 누구에게 귀속되는지에 대한 의문도 제기되었다. AI는 자체적으로 저작권을 가질 수 없으므로, 현재의 추측에 따르면 기계 학습 기술 전반에 대한 추가적인 판결이 내려지기 전까지는 명확한 답이 없을 것으로 보인다. 가장 최근의 예방 조치는 구글과 유니버설 뮤직 그룹에서 개발하기 시작했으며, 프로듀서가 아티스트의 목소리와 스타일을 복제할 수 있도록 로열티와 크레딧 귀속을 고려하고 있다.

 "Heart on My Sleeve" 
2023년, ghostwriter977로 알려진 아티스트가 "Heart on My Sleeve"라는 음악 딥페이크를 제작했는데, 이 곡은 드레이크와 위켄드의 목소리를 복제했다. 이는 각 아티스트의 보컬만 있는 다양한 트랙을 딥 러닝 알고리즘에 입력하여 각 아티스트의 목소리의 인공 모델을 만들고, 이 모델을 원곡 가사가 있는 참고 보컬에 매핑하여 이루어졌다. 이 트랙은 그래미 최우수 랩 노래 및 올해의 노래 후보로 제출되었다. 이 곡은 입소문을 타며 틱톡에서 인기를 얻었고 관객들로부터 긍정적인 반응을 얻어 2023년 4월 애플 뮤직, 스포티파이, 유튜브에 공식 출시되었다. 많은 사람들은 이 트랙이 AI 소프트웨어로 완전히 작곡된 것으로 생각했지만, 프로듀서는 작사, 작곡, 프로듀싱, 그리고 원래의 보컬(변환 전)은 여전히 자신이 했다고 주장했다. 이 곡은 그래미 어워드 후보에 오르기 위한 필수 지침을 따르지 않아 나중에 모든 그래미 심사에서 철회되었다. 이 트랙은 유니버설 뮤직 그룹에 의해 모든 음악 플랫폼에서 결국 삭제되었다. 이 곡은 AI 음성 복제에 대한 중대한 순간이었으며, 이후 수백, 아니 수천 명의 인기 가수와 래퍼를 위한 모델이 만들어졌다.

 "Where That Came From" 
2013년, 컨트리 가수 랜디 트래비스는 뇌졸중으로 노래를 부를 수 없게 되었다. 그동안 가수 제임스 두프레는 그를 대신하여 그의 노래를 부르며 투어를 했다. 트래비스와 오랜 프로듀서인 카일 레닝은 2024년 5월 "Where That Came From"이라는 새 곡을 발표했다. 이는 트래비스의 뇌졸중 이후 첫 새 곡이다. 이 녹음은 AI 기술을 사용하여 트래비스의 노래 목소리를 재현했는데, 이는 두프레의 목소리와 함께 40개 이상의 기존 보컬 녹음을 합성하여 만들어졌다.

기술적 접근 방식

인공지능 음악은 음악 작곡, 분석, 분류 및 추천에 사용되는 다양한 기술적 접근 방식을 포함한다. 사용되는 기술은 딥 러닝, 기계 학습, 자연어 처리 및 신호 처리에서 파생된다. 현재 시스템은 전체 음악 작곡을 작곡하고, 감정적 내용을 분석하며, 실시간으로 인간 연주자와 함께 연주하고, 사용자 및 맥락에 따른 선호도 패턴을 습득할 수 있다.

기호 음악 생성

기호 음악 생성은 MIDI와 같이 음표와 타이밍이 정확하게 정의된 이산적인 기호 형식으로 음악을 생성하는 것이다. 초기 시스템은 규칙 기반 시스템과 마르코프 모델을 사용했지만, 현대 시스템은 상당 부분 딥 러닝을 사용한다. 순환 신경망(RNN)과 더 정확하게는 장단기 메모리(LSTM) 네트워크는 음악 시퀀스의 시간적 종속성을 모델링하는 데 사용되었다. 이들은 다양한 음악 장르에서 멜로디, 화성, 대위법을 생성하는 데 사용될 수 있다.

Music Transformer 및 MuseNet과 같은 트랜스포머 모델은 장거리 종속성 모델링 능력과 확장성으로 인해 기호 생성에서 더 인기를 얻었다. 이러한 모델은 멀티 인스트루먼트 폴리포닉 음악 및 스타일 모방을 생성하는 데 사용되었다.

오디오 기반 음악 생성

이 방법은 기호 표기법 대신 원본 오디오 파형으로 음악을 생성한다. DeepMind의 WaveNet은 고음질 오디오를 생성하기 위해 자기회귀 샘플링을 사용하는 초기 예이다. 생성적 적대 신경망(GAN)과 변분 오토인코더(VAE)는 새로운 오디오 텍스처 합성 및 다양한 악기의 음색 조합에 점점 더 많이 사용되고 있다.

구글 마젠타 프로젝트인 NSynth(Neural Synthesizer)는 WaveNet과 유사한 오토인코더를 사용하여 잠재 오디오 표현을 학습하고 이를 통해 완전히 새로운 악기 소리를 생성한다.

음악 정보 검색(MIR)

음악 정보 검색(MIR)은 오디오 녹음에서 음악적으로 관련된 정보를 추출하여 장르 분류, 악기 인식, 분위기 인식, 비트 감지 및 유사성 추정과 같은 응용 프로그램에 활용하는 것이다. 스펙트로그램 특성에 대한 CNN은 이러한 작업에서 매우 정확한 성능을 보여왔다. 멜주파수 켑스트럴 계수(MFCC)와 같은 특성에 대한 분류에는 SVM과 k-최근접 이웃(k-NN)도 사용된다.

하이브리드 및 대화형 시스템

하이브리드 시스템은 기호 기반 및 음향 기반 방법을 결합하여 각자의 장점을 활용한다. 이들은 고급 기호 작곡을 작곡하고 이를 자연스러운 소리로 합성할 수 있다. 실시간 대화형 시스템은 AI가 인간의 입력에 즉각적으로 반응하여 라이브 연주를 지원할 수 있게 한다. 강화 학습과 규칙 기반 에이전트는 즉흥 연주 맥락에서 인간-AI 공동 제작을 위해 활용되는 경향이 있다.

감성 컴퓨팅 및 감성 인식 음악 시스템

감성 컴퓨팅 기술은 AI 시스템이 감성적인 내용에 기반하여 음악을 분류하거나 생성할 수 있도록 한다. 모델은 템포, 모드, 음색과 같은 음악적 특징을 사용하여 감성적인 내용을 분류하거나 청취자의 감정에 영향을 미친다. 딥 러닝 모델은 감성적인 내용에 기반하여 음악을 분류하고 심지어 감성적인 영향을 미칠 의도로 음악을 생성하기 위해 훈련되었다.

AI 기반 음악 추천 시스템

음악 추천기는 AI를 사용하여 사용자가 들었던 음악, 취향, 맥락에 있는 정보에 기반하여 트랙을 제안한다. 협업 필터링, 콘텐츠 기반 필터링, 하이브리드 필터링이 가장 널리 적용되며, 딥 러닝은 미세 조정에 사용된다. 그래프 기반 및 행렬 분해 방법은 스포티파이 및 유튜브 뮤직과 같은 상용 시스템 내에서 복잡한 사용자-항목 관계를 표현하는 데 사용된다.

자동 믹싱 및 마스터링을 위한 AI

AI는 믹싱 및 마스터링과 같은 오디오 엔지니어링 자동화에도 사용된다. 이러한 시스템은 레벨, 이퀄라이저, 팬 및 압축을 조절하여 균형 잡힌 사운드 출력을 제공한다. LANDR 및 iZotope Ozone과 같은 소프트웨어는 기계 학습을 사용하여 전문 오디오 엔지니어의 결정을 에뮬레이트한다.

가사 생성 및 작곡 지원

자연어 생성은 작곡 지원 및 가사 생성에도 적용된다. GPT-3와 같은 트랜스포머 언어 모델은 입력 프롬프트, 테마 또는 감정으로부터 스타일리시하고 일관성 있는 가사를 생성할 수 있음이 입증되었다. 운율, 음절 수, 시 형식에 대한 AI 프로그램도 존재한다.

다중 모달 및 교차 모달 시스템

최근의 발전에는 음악을 다른 미디어, 예를 들어 춤, 비디오, 텍스트와 통합하는 다중 모달 AI 시스템이 포함된다. 이들은 비디오 시퀀스와 동기화하여 배경 악보를 생성하거나 오디오 입력으로부터 춤 안무를 생성할 수 있다. 교차 모달 검색 시스템을 통해 이미지, 텍스트 또는 제스처를 사용하여 음악을 검색할 수 있다.

문화적 영향
AI 음악의 등장은 격렬한 문화적 논쟁을 불러일으켰으며, 특히 창의성, 도덕성, 관객에 미치는 영향에 대해 논란이 일고 있다. 음악 제작의 민주화에 대한 찬사만큼이나 제작자, 관객, 사회 전반에 미치는 영향에 대한 우려도 제기되었다.

반응 및 논란
AI 음악 창작에서 가장 논란이 되는 응용 분야는 공격적인 작품 제작을 위한 오용이다. 음악 AI 플랫폼은 여러 차례 인종 차별적, 반유대적 또는 폭력을 담은 공격적인 가사로 된 노래를 제작하는 데 사용되었으며, 생성 AI 플랫폼의 중재 및 책임에 대한 시험대에 올랐다. 이 사례는 생성 모델에서 도덕적인 결과물을 생산하는 데 있어 사용자와 개발자의 책임에 대한 논쟁을 다시 불러일으켰다.

그 외에도 여러 프로듀서와 아티스트들은 독창성, 수공예 장인 정신, 문화적 진정성에 대한 위협 때문에 AI 음악 사용을 비난해왔다. 비평가들에 따르면 AI가 만든 음악은 인간의 작품이 의존하는 감성 지능과 살아있는 삶이 부족하다는 것이다. 이러한 우려는 AI로 만들어진 노래들이 플랫폼에 꾸준히 더 많이 나타나고 있으며, 다른 사람들은 인간 예술성을 저하시킨다고 간주하는 시대에 나타났다.

음악가 vs. 소비자
흥미롭게도 전문 음악가들은 음악 제작에서 AI 사용에 대해 일반적으로 더 회의적인 반면, 일반 소비자나 청취자는 그 아이디어에 대해 수용적이거나 중립적이었다. 조사에 따르면 상업적 맥락에서 일반 소비자는 인간이 만들었는지 AI가 만들었는지 여부를 모르거나 심지어 신경 쓰지 않는 경우가 많으며, 상당수의 소비자는 AI가 즐거움에 영향을 미치지 않는다고 말한다. 아티스트의 정서와 소비자의 정서 간의 이러한 대조는 음악 산업의 미래 경제 및 인간 창의성에 부여되는 가치 측면에서 광범위한 결과를 가져올 수 있다.

대중 인식 및 일반적 인식
AI 음악에 부여되는 문화적 가치는 일반적으로 생성 AI에 대한 대중적 인식과 유사하게 관련된다. 음악이나 글쓰기든 생성 AI가 만든 작품이 인간적인 관점에서 어떻게 받아들여지는지는 감정적 의미와 진정성 같은 요인에 따라 달라지는 것으로 밝혀졌다. AI의 결과물이 설득력 있고 매력적이라는 것이 입증되는 한, 청중은 경우에 따라 저자가 인간이 아닌 음악을 받아들일 수 있으며, 이는 창작자와 창의성에 대한 관습을 재형성할 가능성이 있다.

미래 전망

음악과 인공지능 분야는 계속 진화하고 있다. 발전의 주요 미래 방향에는 생성 모델의 발전, 인간과 AI가 음악적으로 협력하는 방식의 변화, 그리고 기술의 영향을 해결하기 위한 법적 및 윤리적 틀의 개발이 포함된다.

생성 모델의 발전
향후 연구 개발은 생성적 적대 신경망(GAN) 및 변분 오토인코더(VAE)와 같은 기존 기술을 넘어설 것으로 예상된다. 확산 모델 및 트랜스포머 기반 네트워크와 같은 최근의 아키텍처는 더 복잡하고 미묘하며 스타일적으로 일관된 음악을 생성하는 데 유망한 가능성을 보여주고 있다. 이러한 모델은 더 높은 품질의 오디오 생성 및 음악 작곡에서 더 나은 장기 구조로 이어질 수 있다.

인간-AI 협업
생성 행위 자체 외에도 중요한 미래 방향은 인간 음악가와 AI 간의 협력을 심화하는 것이다. 이러한 협력이 어떻게 이루어질 수 있는지, 그리고 윤리적으로 건전하게 이루어질 수 있도록 어떻게 촉진할 수 있는지에 대한 이해에 점점 더 집중하고 있다. 여기에는 미래 시스템 설계를 안내하기 위해 음악가의 AI 도구에 대한 인식과 경험을 연구하는 것이 포함된다.
연구는 다양한 영역에서 이러한 협업 모델을 적극적으로 탐구한다. 예를 들어, 연구는 AI가 복잡한 창의적 및 치료 과정에서 지원 파트너 역할을 할 수 있도록 음악 치료사와 같은 전문가와 공동 설계될 수 있는 방법을 조사하며, AI를 단순히 출력 도구가 아니라 인간 기술을 향상시키기 위해 설계된 통합 구성 요소로 개발하는 추세를 보여준다.

규제 변경 및 윤리적 고려사항
AI 생성 음악이 더욱 유능해지고 널리 퍼짐에 따라 전 세계적으로 법적 및 윤리적 틀이 계속해서 적응할 것으로 예상된다. 현재 정책 논의는 저작권 소유권, 아티스트를 모방하는 AI(딥페이크) 사용, 아티스트에 대한 공정한 보상에 초점을 맞추고 있다. 캘리포니아주와 같은 곳에서 AI 안전 및 규제와 관련된 최근의 입법 노력과 논쟁은 혁신과 잠재적 위험 및 사회적 영향 간의 균형을 맞추는 데 따르는 어려움을 보여준다. 이러한 발전을 추적하는 것은 음악 산업에서 AI의 미래를 이해하는 데 중요하다.

 같이 보기 
 알고리즘 작곡
 자동 콘텐츠 인식
 음악 창의성의 전산 모델
 생성형 인공지능
 생성 음악
 음악 소프트웨어 목록
 음악 정보 검색
 

 각주 

추가 자료
 Understanding Music with AI: Perspectives on Music Cognition . Edited by Mira Balaban, Kemal Ebcioglu, and Otto Laske. AAAI Press.
 Proceedings of a Workshop held as part of AI-ED 93, World Conference on Artificial Intelligence in Education on Music Education: An Artificial Intelligence Approach

 Artificial Intelligence - Intelligent Art? Human-Machine Interaction and Creative Practice. (Digital Society - Digitale Gesellschaft). Edited by Voigts, Eckart, Robin Auer, Dietmar Elflein, Sebastian Kunas, Jan Röhnert, Christoph Seelinger Bielefeld: transcript,2024.

 외부 링크 
 The Music Informatics Research Group
 Institut de Recherche et Coordination Acoustique/ Musique
 Interdisciplinary Centre for Research in Music
 Mixdevil - Is AI Good Gor Music Producers
 OpenDream

분류:컴퓨터 음악
분류:인지음악학
분류:인공지능 예술