當AI開始聽懂節奏、和弦與曲風，就能從音樂生成工具進一步成為與真人共演的「虛擬樂手」。在經濟部技術司科技專案支持下，資策會數轉院研發AI音樂理解與智慧協奏技術，讓AI具備聽清楚、聽得懂、能擬真、同節拍等能力，並將於9月29日至30日「2026 ITRI ICT TechDay」展出，讓民眾體驗AI即時協奏，感受一個人也能有一個Band的演奏層次。
從「會生成」到「聽得懂」 讓AI真正跟著人演奏
現有生成式AI雖能快速產生音樂，但生成品質不一，要進一步成為能與音樂人共同演奏的夥伴，更具技術挑戰。音樂人現場協奏會隨情緒與風格變化，即時調整演奏力度與節奏；傳統固定協奏則多依預設速度與風格播放，往往是音樂人配合機器，而非機器理解音樂人的演奏。資策會因此聚焦「讓AI聽得懂音樂」，整合四項關鍵技術：透過環境降噪與多聲源分離「聽清楚」演奏，以音樂理解模型辨識節奏、和弦與曲風，做到「聽得懂」；運用AI音色建模重現樂器音色，達到「能擬真」；再透過動態跟拍即時調整速度與節奏，做到「同節拍」，讓AI從生成伴奏進一步成為能感知、理解並回應音樂人演奏的虛擬樂手。
一個人也能有一個Band AI拓展音樂創作與即興演奏可能
此次展覽將呈現「AI音樂夥伴」與「AI一人成團」兩項互動情境。「AI音樂夥伴」讓使用者透過簡易哼唱，由AI理解音樂內容與風格，進一步提供音樂生成與創作延伸；「AI一人成團」則透過吉他演奏呈現AI智慧協奏，當演奏者臨場加速、放慢或改變演奏節奏時，AI虛擬樂手也能動態調整伴奏，與真人共同完成協奏。
這項技術的目的並非取代音樂人的專業，而是讓AI成為新的創作與演奏工具。對創作者而言，一段旋律可以進一步延伸出不同的音樂風格與編曲想像；對演奏者而言，AI則能成為可即時互動的虛擬團員，使個人演奏擁有更多聲部與即興變化，拓展個人創作、練習及現場演出的表現可能。
不只讓AI懂音樂 更要讓AI走進台灣的樂器與音訊產品
AI音樂技術的下一步，不只是生成音樂，更要讓AI真正聽懂音樂人的演奏並即時回應，進一步走進樂器與音訊產品。台灣具備電子、晶片、音訊設備及樂器製造優勢，資策會透過AI音樂理解、即時協奏與音色生成等技術，讓既有硬體從聲音播放與處理，進一步具備感知、理解及互動能力，並推動技術導入數位樂器、AI電吉他、智慧音箱及互動展演等應用。相關成果已透過實際音樂展演場域驗證，未來將持續蒐集音樂創作者、演奏者及產業業者回饋，鏈結樂器製造、音訊晶片、電聲設備及數位內容業者，加速技術與產品整合，讓AI從創作工具進一步成為能與音樂人共同創作、演奏的音樂夥伴，推動研發成果從場域走向產品與市場，發展「硬體＋AI音訊引擎＋智慧服務」新模式，展現台灣「硬體製造＋AI軟實力」的音樂科技競爭力。
展覽訊息：
2026 ITRI ICT TechDay
時間：9/29(二)-9/30(三)
地點：台北國際會議中心TICC（臺北市信義路五段1號）
