영어 어휘력 테스트 점수, 실제로 무엇을 재는 걸까

어휘력 테스트가 내놓는 숫자는 진짜 숫자입니다. 다만 재는 대상이 생각보다 좁습니다. 빈도순으로 표본을 뽑아서, 글로 읽었을 때 알아보는 단어족을 세고, 거기에 곱셈을 합니다. 이 세 가지를 알면 그 점수로 무엇까지 말할 수 있는지가 정리됩니다.

그 숫자는 적은 표본으로 만든 추정치입니다

모든 단어를 물어보는 시험은 없습니다. 학계 표준으로 쓰이는 Nation과 Beglar의 Vocabulary Size Test는 객관식 140문항으로 영어에서 가장 자주 쓰이는 단어족 14,000개를 다룹니다. 140문항이 14개 빈도 구간에 열 개씩 흩어져 있고, 맞힌 개수에 100을 곱해서 총점을 냅니다.

천 개를 판단하려고 열 개를 물어보는 셈입니다.

설계 자체는 합리적입니다. 표본조사는 원래 이렇게 하고, 빈도 구간으로 층을 나눈 것도 타당합니다. 네 번째 천 개에 있는 단어를 아홉 번째 천 개보다 먼저 배우는 건 사실이니까요. 문제는 결과가 오차 범위를 가진 추정치라는 점, 그리고 화면에 뜨는 숫자에는 그 폭이 표시되지 않는다는 점입니다.

정답 하나가 100단어입니다

여기가 점수를 읽는 방식을 바꾸는 대목입니다.

한 문항이 구간 하나를 대표하니까, 한 문제를 더 맞히면 결과가 100 올라갑니다. 사지선다에서 찍어서 맞힌 것도 똑같이 100입니다. 140문항 중에 운으로 두 개만 더 맞으면 영어 실력에 아무 변화가 없어도 숫자는 200이 움직입니다.

그래서 작은 차이는 읽지 마세요. 3월에 8,200이었고 6월에 8,400이 나왔다면 그건 두 문항 차이입니다. 기계의 잡음 안에 있는 값이고, 이걸 성장으로 읽는 건 아침에 체중계에 두 번 올라가서 500그램 늘었다고 판단하는 것과 같습니다.

의미를 둘 만한 차이는 대략 천 단위부터입니다. 열 문항, 구간 하나만큼의 표본이 통째로 달라졌다는 뜻이니까요.

단어족은 단어가 아닙니다

이 시험들이 세는 단위는 단어족(word family)이고, 여기서 숫자가 조용히 후해집니다.

단어족은 기본형에 굴절형과 흔한 파생형을 묶은 덩어리입니다. nation, national, nationalism, nationalize, nationality가 한 족이고 한 개로 셉니다. nation을 맞히면 족 전체를 아는 것으로 처리됩니다.

문제가 보이시죠. nation을 안다고 nationalize를 아는 건 아닙니다. 기본형은 되는데 파생형에서 막히는 일이 흔하고, 특히 품사가 바뀌는 파생형에서 그렇습니다. 족 단위로 세면 이게 통째로 가려집니다. 이건 지엽적인 트집이 아니라, 어휘 테스트의 세는 단위를 단어족에서 표제어(lemma)로 옮기자는 연구 쪽 주장의 핵심 근거입니다.

그러니까 8,000단어를 안다는 결과는, 8,000개 족의 대표 단어를 알아봤다는 뜻입니다. 실제로 다룰 수 있는 형태의 개수는 그보다 적고, 얼마나 적은지는 파생 규칙을 얼마나 흡수했는지에 달려 있습니다.

여기서 사람들이 제일 많이 헷갈리는 현상도 설명됩니다. 두 개의 테스트를 봤는데 숫자가 몇천씩 차이 나는 경우요. 하나는 단어족을 세고 하나는 표제어를 센다면 애초에 다른 것을 세고 있는 겁니다. 여기에 다루는 구간 수, 객관식이냐 예 아니오냐, 찍기 보정이 있느냐 없느냐까지 더해지면, 몇천 차이 나는 두 결과가 같은 사람의 어휘에 대한 정확한 측정일 수 있습니다. 숫자만 떼어내면 의미가 없고 어떤 시험으로 쟀는지까지 같이 말해야 합니다.

없는 단어를 넣어두는 이유

어떤 테스트는 예 아니오 형식을 씁니다. 단어를 하나 보여주고 아는지 체크하게 하는 방식이에요. 빠르니까 온라인 테스트가 이 방식을 좋아합니다. 그리고 부풀리기가 아주 쉽습니다. 안다고 체크한 걸 증명할 필요가 없으니까요.

Anderson과 Freebody는 1983년에 가짜 단어를 섞는 걸로 이 문제를 해결했습니다. 영어처럼 보이고 영어처럼 들리게 만든, 실제로는 없는 단어입니다. 이걸 체크했다면 지식을 보고한 게 아니라 익숙함이나 낙관을 보고한 것이고, 채점 공식이 그만큼 실제 단어 점수를 깎습니다.

저는 이게 이 시험 전체에서 가장 정직한 장치라고 봅니다. 응시자가 자기한테 후해지는 걸 잡으려고 따로 만든 장치가 있다는 건, 그 후함이 그만큼 흔하다는 뜻이니까요. 예 아니오 테스트를 보다가 ‘이게 흔한 단어라고?’ 싶은 항목을 만난 적이 있다면, 몇 개는 단어가 아니었을 겁니다.

알아보는 건 천장이지 바닥이 아닙니다

주요 어휘량 테스트는 전부 수용(reception)을 잽니다. 글로 쓰인 단어를 보고 아는지 판단하거나 네 개 중에 뜻을 고르는 식입니다. 무언가를 만들어 내라고 요구하는 문항은 없습니다.

이게 중요한 이유는, 알아보기가 가장 쉬운 형태의 앎이고 제일 먼저 도착하기 때문입니다. 문맥에서, 두 번쯤 읽어본 기억에서, 다른 언어의 비슷한 단어에서 알아볼 수 있습니다. 정작 필요할 때 꺼내 쓰거나 원어민이 어색해하지 않을 문장에 넣는 건 별개고요.

그래서 어휘량 점수는 쓸 수 있는 어휘의 상한선이지 그 자체가 아닙니다. 둘 사이의 간격이 수동 어휘와 능동 어휘의 주제이고, 대부분의 학습자에게 이 간격은 꽤 큽니다.

점수가 쓸모없다는 얘기가 아닙니다. 읽기 천장을 재는 값으로는 충분히 유용합니다. 그걸 말하기 실력인 것처럼 인용하지만 않으면 됩니다.

이 점수로 대답할 수 있는 것

정직하게 정리하면 이렇습니다.

알고 싶은 것	점수로 답이 되나	대신 볼 것
이 원서를 사전 없이 읽을 수 있나	된다	더 나은 지표가 없음
반년 사이에 늘었나	큰 폭일 때만	같은 시험, 같은 조건, 방향만
친구보다 잘하나	안 된다	다른 시험끼리는 비교 불가
이 정도면 말할 수 있나	안 된다	시간 제한 작문, 발화 과제
다음에 뭘 외울까	간접적으로	점수가 무너지는 구간
시험 볼 준비가 됐나	안 된다	그 시험의 기출

첫 줄이 이 테스트가 값을 하는 자리입니다. 독해력은 지문에서 알아보는 비율과 강하게 묶여 있고, 어휘량 추정치는 이 질문에 이만큼 싸게 답해 주는 유일한 도구입니다. 목표 수치가 궁금하시면 영어를 편하게 하려면 단어가 몇 개 필요한지에 정리해 뒀습니다.

진짜 결과물은 무너지는 구간입니다

대부분 총점을 보고 창을 닫습니다. 총점은 이 시험이 만들어 낸 정보 중에 제일 재미없는 부분인데도요.

구간별 결과가 나오는 테스트라면, 정답이 흔들리기 시작하는 지점을 보세요. 다섯 번째 천 개까지는 거의 다 맞다가 여섯 번째에서 확 떨어지는 사람은 아주 구체적인 정보를 얻은 겁니다. 공부할 자리가 여섯 번째와 일곱 번째 천 개라는 것, 검색해서 나오는 ‘고급 어휘 목록’ 같은 게 아니라는 것.

총점보다 이쪽이 쓸모 있는 이유는 단순합니다. 총점은 지나온 곳을 말하고, 구간은 다음에 할 일을 말합니다. 단어는 대체로 빈도순으로 익혀지는데, 그건 그 순서로 만나기 때문이고, 내 지식의 가장자리가 새로 외운 단어가 곧바로 쓰일 확률이 제일 높은 자리입니다.

가장자리에서 두 구간 넘어간 단어는 앞으로 몇 달간 다시 안 만납니다. 그전에 잊습니다.

테스트 본 다음 주에 할 일

결과는 행동을 바꾸는 만큼만 값을 합니다. 구체적으로는 이렇습니다.

• 총점 말고 구간을 적어두세요. “일곱 번째 천 개에서 무너진다”는 학습 계획이고, “8,400개를 안다”는 아무것도 아닌 사실입니다.
• 최소 세 달은 다시 보지 마세요. 그보다 짧으면 잡음을 재는 거고, 지난번 문항도 기억에 남아 있습니다.
• 수용과 산출의 간격을 재보세요. 편한 구간에서 스무 개를 골라 아무것도 안 보고 문장을 하나씩 써 보면 됩니다. 막히는 쪽이 진짜 문제의 모양입니다.
• 가장자리보다 살짝 위를 읽으세요. 한두 쪽에 모르는 단어 하나 나오는 자료가 어휘를 늘립니다. 한 문단에 네 개 나오면 인내심만 늘어요.
• 더 넣기 전에 새는 걸 먼저 막으세요. 봄에 외운 단어가 가을에 없다면 입력을 늘려도 소용없습니다. 일정 문제이고, 간격 반복이 다루는 영역입니다.

마지막 항목을 강조하고 싶습니다. 다들 이걸 건너뛰거든요. 어휘량 테스트는 살아남은 것의 스냅숏이고, 생존율이 고장난 부분이라면 투입을 늘리는 건 손실도 같이 늘리는 일입니다.

숫자가 못 보는 것

형식과 무관하게 남는 한계가 하나 더 있어서 짚고 갑니다.

단어를 안다는 건 이분법이 아닙니다. 한 번도 못 본 상태와 면접에서 정확하게 쓰는 상태 사이에는 여러 단계가 있습니다. 알아보기, 문맥에서 짐작하기, 뜻 알기, 격식 수준 알기, 같이 붙어 다니는 단어 알기. 어휘량 테스트는 이걸 전부 ‘예’ 하나로 눌러 담습니다.

같은 점수를 받은 두 사람이 같은 쪽을 읽고 다른 양을 가져가는 이유가 여기 있습니다. 한 명은 8,000단어를 알아보는 수준으로 알고, 다른 한 명은 글쓴이가 concise 대신 terse를 골랐다는 걸 알아채고 거기에 의도가 있었다는 것까지 읽습니다.

숫자에서 그걸 얻을 수는 없고, 기대할 것도 아닙니다. 어휘량 점수는 내 영어의 한 가지 측면을 한 번 싸게 읽어 본 결과입니다. 딱 그 설명만큼의 무게로 다루면 됩니다.

보캐비가 29,000개 넘는 항목마다 뜻만이 아니라 예문과 발음기호, 오디오를 같이 두고 FSRS 간격 반복으로 복습 시점을 잡는 이유도 이겁니다. 알아보기만 세는 시험에서 숫자를 올리는 게 아니라, 가진 단어를 깊게 만드는 쪽이 목표라서요. 단어 페이지에서 항목을 둘러보실 수 있습니다.

테스트는 보시고, 구간을 적어두고, 다시 단어로 돌아가세요. App Store에서 보캐비 받기