How the clips were made
This quiz is a listening study run by Intrect. It asks whether people can tell AI-generated music from real recordings by ear. This page explains where the clips come from, how they were prepared and what the quiz can and cannot tell you.
Last updated 2026-10-26.
What this is, and what it is not
- It is a public quiz run by Intrect, a company that makes audio software and detection tools. It is not a controlled experiment.
- Your score describes your listening in one run. It is not a verdict on any track, and it says nothing about whether any detector can or cannot recognise a clip.
What other listening tests found
- Deezer and Ipsos, published 12 November 2025: in an online survey of 9,000 adults aged 18 to 65 in eight countries, fielded 6 to 10 October 2025, each person heard three tracks, two fully AI-generated and one made by people, and said whether each one was fully AI-generated. Deezer reports that 97% of the respondents failed this test. The release does not say how a pass was scored. Source: Deezer newsroom.
- Federal University of Minas Gerais (UFMG), Brazil, posted 29 September 2025: from June to July 2025, 308 participants heard pairs of one Suno song and one song made by people and picked the AI one. With pairs drawn at random they were right 53% of the time, which the authors report is not significantly different from chance. With pairs of a similar style they were right 66% of the time, and 60% across all pair types. Source: arXiv 2509.25601.
- Neither study used the clips in this quiz, and this quiz has not published a result of its own. When it does, its figures follow the rules under "Limits of the quiz" below.
Where the clips come from
- AI-generated clips: made with Suno (versions v6, v5.5 and v5) and ACE-Step 1.5, an open model released under the MIT licence. The Suno songs were generated by Intrect. The ACE-Step clips were generated from text captions taken from the MusicBench dataset (CC BY-SA 3.0) and the MusicCaps and SongDescriber datasets (CC BY-SA 4.0); the captions are not shown in the quiz. After each answer the quiz names the generator and version.
- Real recordings: tracks from the Free Music Archive that carry a Creative Commons licence we may use here: CC BY, CC BY-SA or public domain. After each answer the quiz shows the title, artist, licence and a link to the track.
- An excerpt that is trimmed and loudness-matched counts as an adaptation. Excerpts of CC BY-SA tracks are therefore offered under CC BY-SA and marked as such.
- Models whose licences do not allow this use are left out of the quiz.
How the clips were prepared
- Every clip is a 12-second excerpt that went through the same chain: low-pass filter at 16 kHz, normalisation to -14 LUFS, then MP3 at 192 kbps, 44.1 kHz stereo, with no metadata. Many of the Suno sources are bandwidth-limited, so the filter keeps bandwidth from giving the answer away. Loudness was measured with two independent implementations of ITU-R BS.1770 and every clip is within 0.5 LU of the target.
- Real and AI clips are paired by genre in five genres: electronic, folk, hip-hop, pop and rock, with the same number of each in every genre. A real track's genre is its Free Music Archive tag; an AI clip's genre is read from its prompt or style tags with keyword rules, so it is approximate. Vocals are not matched, so a player may be able to use them as a cue.
- Within a genre, each AI clip was paired with a real clip that sits close to it in ten simple measurements of the audio: noise floor, silence at the start and end, stereo width, crest factor, loudness range, spectral centroid, 95% roll-off, flatness and the 8 to 16 kHz share. Before the pairing those numbers alone told the two sides apart: a classifier that saw only them was right for 82% of the clips of pool v1. For pool v2 it is right for 69%; chance is 50%. The numbers say nothing about vocals, lyrics or musical structure, which you can hear.
- Stage 2 plays only the first 8 seconds and stage 5 only 4 seconds. Stages 3 and 4 use 128 kbps and 64 kbps encodes of the same clips.
- Each stage has five clips: three AI and two real, or two AI and three real, in random order. A run never plays the same clip twice and never two excerpts of the same song or track.
- From stage 3 on, each stage takes a growing share of its clips from the ones marked hard: a third in stage 3, half in stage 4, two thirds in stage 5 and all of stage 6 (rounded up for each class). A clip is marked hard when ArtifactNet, Intrect's own detector, got it wrong or was least sure: a generated clip it scored low, a real clip it scored high. That is a measurement of a machine, not of listeners.
How scoring works
The server computes every score, life and streak. Your browser only shows what the server returns. You start with 3 lives. A wrong answer in stages 1 to 6 costs one life and resets your streak. At zero lives the run ends. A correct answer earns the stage's base points plus 5 per answer in your current streak, up to 50. Clearing a stage adds a bonus, and clearing stage 6 adds 100 per life you have left.
| Stage | Clips | Audio | Points per correct answer | Clear bonus |
|---|---|---|---|---|
| 0 Warm-up | 5 | Original | 0, no life cost | None |
| 1 Normal | 5 | Original | 10 | 50 |
| 2 Time Pressure | 5 | 8 seconds | 15 | 75 |
| 3 Codec Challenge | 5 | 128 kbps | 20 | 100 |
| 4 Lo-Fi Challenge | 5 | 64 kbps | 25 | 125 |
| 5 Speed Round | 5 | 4 seconds | 30 | 150 |
| 6 Hard Round | 5 | Original | 40 | 200 |
Limits of the quiz
- The Free Music Archive leans towards independent and amateur artists, so the real clips do not represent all human-made music.
- The clip pool is small: pool v2 (2026-10-21) has 224 clips, 112 AI and 112 real. The 45 Suno clips come from 26 songs by Intrect, so they do not represent what other Suno users make. The 67 ACE-Step clips come from one model. Results say nothing about other generators.
- The real clips were chosen from a larger set of Creative Commons tracks partly because ArtifactNet found them hard: it scored 54% of the chosen real clips as generated. They are stranger than a typical Free Music Archive track, so "real" here does not mean "ordinary".
- Players choose to take part. They are not a random sample of listeners.
- No aggregate results are shown in the quiz today. When we publish any, a headline figure needs at least 200 finished runs, a breakdown needs at least 30 answers per cell, and every figure will carry its date and sample size.
Who runs it
Intrect, Seoul, Republic of Korea (intrect.io). Questions go through the Intrect help center. See also what the quiz stores in the privacy notice.
클립을 만든 방법
이 퀴즈는 Intrect가 운영하는 청취 연구입니다. 사람이 AI가 만든 음악과 실제 녹음을 귀로 구별할 수 있는지 묻습니다. 이 페이지는 클립이 어디서 왔는지, 어떻게 준비했는지, 퀴즈가 알려 줄 수 있는 것과 없는 것이 무엇인지 설명합니다.
최종 업데이트 2026-10-26.
이 퀴즈가 무엇이고 무엇이 아닌가
- 오디오 소프트웨어와 탐지 도구를 만드는 회사 Intrect가 운영하는 공개 퀴즈입니다. 통제된 실험이 아닙니다.
- 점수는 한 번의 플레이에서 나타난 청취 결과입니다. 어떤 곡에 대한 판정이 아니며, 어떤 탐지기가 특정 클립을 알아볼 수 있는지 없는지에 대해서도 말해 주지 않습니다.
다른 청취 테스트의 결과
- Deezer와 Ipsos, 2025년 11월 12일 발표: 8개국 18~65세 성인 9,000명을 대상으로 2025년 10월 6~10일에 진행한 온라인 조사에서, 참가자는 완전히 AI로 만든 트랙 두 곡과 사람이 만든 트랙 한 곡을 듣고 각각이 완전히 AI로 만든 것인지 답했습니다. Deezer는 응답자의 97%가 이 테스트를 통과하지 못했다고 발표했습니다. 발표문은 통과 기준을 밝히지 않습니다. 출처: Deezer 뉴스룸.
- 브라질 미나스제라이스 연방대학교(UFMG), 2025년 9월 29일 공개: 2025년 6~7월에 참가자 308명이 Suno로 만든 곡 하나와 사람이 만든 곡 하나로 된 쌍을 듣고 AI 곡을 골랐습니다. 무작위로 뽑은 쌍에서는 53%를 맞혔고, 연구진은 이것이 우연과 유의하게 다르지 않다고 보고했습니다. 스타일이 비슷한 쌍에서는 66%, 모든 쌍을 합치면 60%를 맞혔습니다. 출처: arXiv 2509.25601.
- 두 연구 모두 이 퀴즈의 클립을 쓰지 않았고, 이 퀴즈는 아직 자체 결과를 공개하지 않았습니다. 공개할 때는 아래 '퀴즈의 한계'에 적은 기준을 따릅니다.
클립의 출처
- AI가 만든 클립: Suno(v6, v5.5, v5)와 ACE-Step 1.5로 만들었습니다. ACE-Step 1.5는 MIT 라이선스로 공개된 오픈 모델입니다. Suno 곡은 Intrect가 생성했습니다. ACE-Step 클립은 MusicBench(CC BY-SA 3.0), MusicCaps와 SongDescriber(CC BY-SA 4.0) 데이터셋의 텍스트 설명을 바탕으로 생성했고, 그 설명은 퀴즈에 표시하지 않습니다. 답할 때마다 생성 모델과 버전을 알려 드립니다.
- 실제 녹음: 이 퀴즈에서 쓸 수 있는 크리에이티브 커먼즈 라이선스(CC BY, CC BY-SA, 퍼블릭 도메인)가 붙은 Free Music Archive의 트랙입니다. 답할 때마다 제목, 아티스트, 라이선스, 트랙 링크를 보여 드립니다.
- 잘라 내고 음량을 맞춘 발췌본은 개작으로 봅니다. 그래서 CC BY-SA 트랙의 발췌본은 CC BY-SA로 제공하고 그렇게 표시합니다.
- 이 용도를 허용하지 않는 라이선스의 모델은 퀴즈에서 제외했습니다.
클립을 준비한 방법
- 모든 클립은 12초 발췌본이고 같은 과정을 거쳤습니다. 16 kHz 로우패스 필터, -14 LUFS로 음량 정규화, 그다음 메타데이터 없는 MP3(192 kbps, 44.1 kHz 스테레오) 인코딩입니다. Suno 원본 중에는 대역이 제한된 것이 많아서, 대역폭이 답을 알려 주지 않도록 필터를 걸었습니다. 음량은 ITU-R BS.1770을 독립적으로 구현한 두 가지 방법으로 측정했고, 모든 클립이 목표값에서 0.5 LU 안에 있습니다.
- 실제 클립과 AI 클립은 일렉트로닉, 포크, 힙합, 팝, 록 다섯 장르에서 장르별로 짝지었고, 장르마다 두 쪽의 개수가 같습니다. 실제 트랙의 장르는 Free Music Archive 태그이고, AI 클립의 장르는 프롬프트나 스타일 태그를 키워드 규칙으로 읽은 것이라 정확하지 않습니다. 보컬은 맞추지 않았으므로 플레이어가 보컬을 단서로 쓸 수 있습니다.
- 장르 안에서 각 AI 클립은 오디오의 단순한 측정값 열 가지(노이즈 플로어, 앞뒤 무음, 스테레오 폭, 크레스트 팩터, 음량 범위, 스펙트럼 중심, 95% 롤오프, 평탄도, 8~16 kHz 비중)가 가까운 실제 클립과 짝지었습니다. 짝짓기 전에는 그 숫자만으로 두 쪽이 구분됐습니다. 그 숫자만 본 분류기가 풀 v1 클립의 82%를 맞혔습니다. 풀 v2에서는 69%이고 우연이면 50%입니다. 이 숫자는 보컬, 가사, 곡 구조를 말해 주지 않으며 그것들은 귀로 들을 수 있습니다.
- 2단계는 앞 8초만, 5단계는 4초만 재생합니다. 3단계와 4단계는 같은 클립을 128 kbps와 64 kbps로 인코딩한 것을 씁니다.
- 단계마다 5개 클립이 나옵니다. AI 3개와 실제 2개, 또는 AI 2개와 실제 3개이고 순서는 무작위입니다. 한 번의 플레이에서 같은 클립은 두 번 나오지 않고, 같은 곡이나 트랙의 발췌본도 두 개 나오지 않습니다.
- 3단계부터는 단계마다 어려움으로 표시한 클립에서 점점 더 많이 뽑습니다. 3단계는 3분의 1, 4단계는 절반, 5단계는 3분의 2, 6단계는 전부입니다(클래스별로 올림). 어려움 표시는 Intrect의 검출기 ArtifactNet이 틀렸거나 가장 자신 없어 한 클립에 붙입니다. 생성된 클립은 점수가 낮게, 실제 클립은 점수가 높게 나온 것입니다. 이는 사람이 아니라 기계에 대한 측정입니다.
점수 계산 방식
점수, 라이프, 연속 정답은 모두 서버가 계산합니다. 브라우저는 서버가 돌려준 값을 보여 줄 뿐입니다. 라이프는 3개로 시작합니다. 1~6단계에서 틀리면 라이프가 하나 줄고 연속 정답이 0으로 돌아갑니다. 라이프가 0이 되면 플레이가 끝납니다. 정답이면 해당 단계의 기본 점수에 현재 연속 정답 1회당 5점(최대 50점)을 더해 얻습니다. 단계를 클리어하면 보너스가 붙고, 6단계를 클리어하면 남은 라이프 1개당 100점이 더해집니다.
| 단계 | 클립 수 | 오디오 | 정답당 점수 | 클리어 보너스 |
|---|---|---|---|---|
| 0 워밍업 | 5 | 원본 | 0, 라이프 소모 없음 | 없음 |
| 1 기본 | 5 | 원본 | 10 | 50 |
| 2 시간 압박 | 5 | 8초 | 15 | 75 |
| 3 코덱 챌린지 | 5 | 128 kbps | 20 | 100 |
| 4 로파이 챌린지 | 5 | 64 kbps | 25 | 125 |
| 5 스피드 라운드 | 5 | 4초 | 30 | 150 |
| 6 고난도 라운드 | 5 | 원본 | 40 | 200 |
퀴즈의 한계
- Free Music Archive는 독립 아티스트와 아마추어 아티스트 비중이 높아서, 실제 클립이 사람이 만든 모든 음악을 대표하지는 않습니다.
- 클립 풀은 작습니다. 풀 v2(2026-10-21)는 224개이고 AI 112개, 실제 112개입니다. Suno 클립 45개는 Intrect가 만든 26곡에서 나왔으므로 다른 Suno 사용자가 만드는 음악을 대표하지 않습니다. ACE-Step 클립 67개는 모델 하나에서 나왔습니다. 결과는 다른 생성기에 대해 아무것도 말해 주지 않습니다.
- 실제 클립은 더 큰 Creative Commons 트랙 집합에서 골랐고, 그중 일부는 ArtifactNet이 어려워했기 때문에 고른 것입니다. 고른 실제 클립의 54%를 ArtifactNet이 생성된 것으로 판단했습니다. 그래서 일반적인 Free Music Archive 트랙보다 낯설고, 여기서 '실제'는 '평범함'을 뜻하지 않습니다.
- 참여자는 스스로 참여하기로 한 사람들이며 무작위로 뽑은 청취자가 아닙니다.
- 지금은 퀴즈에서 집계 결과를 보여 주지 않습니다. 앞으로 공개한다면 대표 수치는 끝난 플레이 200회 이상, 세부 항목은 칸당 답변 30개 이상이 필요하고 모든 수치에 날짜와 표본 크기를 붙입니다.
운영 주체
대한민국 서울의 Intrect(intrect.io)입니다. 문의는 Intrect 고객센터로 해 주세요. 퀴즈가 저장하는 정보는 개인정보 안내에서 확인할 수 있습니다.