[엔젤스팀]문과생을 위한 현실적 배치표 The prism 실채점 + 석차 및 커트라인 추정의 수리적 근거

“엔젤스 컨설팅 팀의 석차 및 커트라인 추정의 수학적 근거”

The Prism ver 2.0에 붙여

수능시험 성적이 발표되고 전국 누적 석차백분위 (이하 누적석차, 누적) 에 관하여 추정하는 방법은 

크게 두 가지가 있습니다.

저희 엔젤스 컨설팅팀은 

(1)표본에 의한 귀납적 추정과 함께 

(2)반드시 이를 검증할 수 있는 연역적 추정을 개발하여 교차 검증하고 있습니다.

아래와 같은 추정 기법에 의하여 저희는 다음과 같은 효과를 얻을 수 있고, 항상 얻어 왔습니다.

1. 수능 성적이 발표되자마자 표준점수 합에 의한 상위누적 1% 구간 추정

2. 상위누적 1% 구간 추정을 바탕으로 다른 함수를 아래와 똑같이 만들어 상위누적 0.2%, 0.5%, 2.2%, 3.3% 등의 표점합에 의한 석차 구간 추정

3. 이러한 상위누적별 구간 추정을 서로 연결하여 또다른 함수로 만들고,

4. 3의 결과에 따라 만들어진 함수에 대학별 반영비율을 곱하여 생겨난 서로 다른 함수들을 서로 비교

위 1~4의 과정들 가운데 가장 핵심이 되는 제1번째 과정, 즉 ‘난도함수’ 에 대한 과정을 엔젤스 컨설팅팀 연구실에서 아래와 같이 공개합니다. 수능에 관련한 ‘입시통계’ 에, 적어도 저희 엔젤스 팀은 현존 활동하는 팀들 가운데, 저희가 가진 추정 능력과 기술에서는, 일부는 ‘유일’하고, 대부분 독보적인 수리적 근거를 가지고 있으며, 추정 결과에 약간의 오류가 있다하더라도 아래와 같은 수리적 근거에 의해 가장 먼저 신속하게 보정할 수 있다고 자부합니다.

엔젤스 컨설팅 팀 데이터팀 드림

난도함수에 관하여

수능에서 원점수를 그대로 반영하지 않고 표준점수를 사용하는 이유는 ‘선택과목별 난이도’나 ‘각 과목을 선택한 학생집단의 학력 수준’과 같은 특징들을 반영하여 점수를 교정해야 하기 때문입니다. 그래야 형평성에 관한 논란이 생기지 않지요. 이번 수능에서 활용하고 있는 국어와 수학의 조정원점수는 형평성 확보를 위한 더 적극적인 점수 교정 방법이라 할 수 있습니다.

이렇게 원점수를 표준점수로 변환한다는 것은 ‘절대평가’ 점수인 원점수를 ‘상대평가’ 점수로 바꾼다는 의미이고, 이는 곧 ‘내 과목 점수’가 아닌 ‘과목 내에서의 내 석차’가 반영된다는 의미로도 해석될 수 있습니다.

먼저, 다음과 같이 설정해 봅시다.

• 국어 1컷 표준점수 x

• 수학 1컷 표준점수 y (자연 : 미적분학 1컷 표준점수 / 인문 : 확률과통계 1컷 표준점수)*

• 탐구 1컷 점수 z(탐구영역 과목별 1컷 표준점수 평균을 2배한 점수)

• w=x+y+z

*기하는 누적석차에 영향을 끼치기에는 너무 모집단이 적음, 미적분으로 간주하고 계산

w는 각 과목별 1등급 컷 표준점수의 합(이하, 1컷표점합)입니다. 시험이 쉬울 경우 이 점수는 높아지고, 반대로 시험이 쉬우면 이 점수는 낮아집니다.

그리고 누적석차 1%에 해당하는 국수탐 표준점수합의 합(이하, 1%표점합)을 s라 하면,

s의 크기 또한 시험이 쉬울 경우 높아지고, 시험이 어려울 경우 낮아지게 됩니다.

다음은 이전 A, B, C학년도의 실제 수능 시험 결과를 활용하여 w와 s를 구한 것입니다.

*[아래의 점수는 편의상 원점수로 작성되어 있는데, 그 이유는 이 글을 작성할 때는 표준점수 값을 몰랐기 때문임. 실제로 활용되는 것은 아래의 원점수들에 해당하는 표준점수 합의 값들의 평균값]

위 표에서 흥미로운 사실을 한 가지 발견할 수 있습니다.

시험이 쉬울 경우 1%표점합(s)과 1컷표점합(w)의 차이는 매우 작고, 시험이 어려울수록 두 점수의 차이가 급격하게 커지게 됩니다.

그도 그럴 것이 시험이 쉬울 경우에는 상위권 학생의 점수가 매우 촘촘하게 배열되기 때문에 두 점수 차이는 매우 작아지고, 시험이 어려워질수록 상위권과 최상위권, 극상위권 학생들 간의 점수 차이가 급격하게 벌어지기 때문에 두 점수의 차이가 매우 커질 것이라는 점은 쉽게 예상할 수 있는 바입니다.

표의 네 번째 열에 나와 있는 1%표점합과 1컷표점합의 차이, 즉 (s-w)의 값을 t라 합시다.

이 t값은 매우 중요한 의미를 갖습니다. 왜냐하면 1컷표점합은 평가원의 발표를 통해 알 수 있지만 1%표점합은 그럴 수가 없기 때문입니다.

하지만 우리가 이 t값을 알아낼 수만 있다면 1%표점합을 알아낼 수 있습니다.

그렇다면 t값을 어떻게 알아낼 수 있을까요?

얼핏 보아 명확히 알 수는 없겠지만 w와 t 사이에 일정한 관계가 존재할 수도 있습니다.

만약 이 관계가 존재한다면 그것을 다음과 같은 함수로 표현할 수 있습니다.

t=f(w)

함수 f가 구체적으로 무엇인지 명확히 알 수는 없지만 

일단 다음 그림과 같이 우하향하는 함수임에는 분명합니다.

그래프의 형태로 보아 f는 유리함수일수도 있고, 지수함수일 수도 있고, 또 다른 우하향하는 함수일 수도 있습니다.

과거 수능 데이터들를 분석해 보면 

함수 f가 다음과 같이 밑이 자연상수(e)인 지수함수로 표현됨을 어렵지 않게 알아낼 수 있습니다.

t=f(w)=e^(aw+b) + c (e=2.7182⋯)

이 함수 f를 난도함수라 부르기로 합시다. 

이렇게 부르는 이유는 이 함수에 의해 결정되는 값인 t가 시험의 난도에 따라 크게 영향을 받기 때문입니다.

유의할 점은 이 함수는 경험적 추론에 의해 만들어진 함수라는 사실입니다. 

이 함수는 결코 어떤 연역적 논리에 의해 만들어진 확정적인 관계식이 아닙니다. 

이 함수는 경험적으로 축적된 데이터들을 통해 파악된 귀납적 결과에 불과합니다.

따라서 이 함수를 통한 추론 결과에는 반드시 일정 수준의 오차가 포함되어 있을 수 밖에 없습니다.

이렇게 오차의 여지가 있음에도 불구하고 이 함수가 유용한 이유는 

현재 우리가 활용하고 있는 누적석차들 모두 경험적 표본을 토대로 산출되는 결과이기 때문입니다.

현재 많은 분들께서 참고하시는 E사기준, GS기준, 그리고 칼레(오르비/kaleidoscope)기준의 

세 가지 석차백분위(누적석차)가 가장 많이 활용되고 있습니다.

이 누적석차 또한 애초 평가원의 원데이터를 통해 추론된 값이 아니라 

"확보된 표본 가운데 몇 %가 전체 몇 %"라고 하는 귀납적 추정를 통해 산출된 값입니다.

오랜기간 동안 누적석차의 표준으로 자리매김해 온 E사가 발표했던 

과거 누적석차들을 분석해 보면 E사 또한 위에서 설명한 난도함수를 만들어 놓았을 가능성이 높다는 생각이 듭니다.

어쨌든 이들 3사의 추론 결과가 평가원의 원데이터와 비교할 때 얼마 만큼의 오차를 가지고 있는지는 알 수 없습니다.

하지만 이들은 전국의 수험생들이 참조하는 자기 위치 파악의 기준으로 오랫동안 기능해 왔기 때문에 

평가원의 원데이터가 어떠한지와는 관계 없이 사실상 진짜 누적석차가 되어 버렸습니다.

대학을 지원할 때 대부분의 수험생이 믿고 참고하는 누적석차가 현실적으로는 진짜 누적석차가 될 수밖에 없습니다.

설령, 누군가가 평가원의 원데이터를 빼내 실제 누적석차를 구하여 공개한다고 해도 

수험생들이 그것을 믿고 활용하지 않는다면 의미가 없습니다.

E사 기준으로 0.3%인 학생이 실제 원데이터 기준으로는 0.58%라 하더라도 

모든 수험생들이 E사 기준을 믿고 대학에 지원한다면 

이 학생은 0.3%가 합격할 수 있는 대학에 실제로 합격할 수 있기 때문입니다.

(“그렇다면 11년도나 14년도에 있었던 누적석차 추정 실패는 무엇인가?” 하고 물으실 수도 있지만, 그것은 3개 이상의 회사가 서로 다른 누적석차를 발표해서 서로 다른 누적석차를 학생들이 혼용하여 일어난 일이라고 보는 것이 타당합니다. 그런 경우라면 보다 객관적으로 원 데이터에 가장 근접한 석차 대신에, 원 데이터보다 많이 괴리가 있는 석차가 더 많이 쓰인다면 입시에 큰 비극적 결과가 나오게 됩니다. 하지만 틀린 누적석차 하나를 모두 쓸 때는 그러한 일이 일어나지 않습니다.)

다시 본래 논의로 돌아가서

우리가 입시사이트에서 13년째 사용하고 있는 누적석차의 근간이 바로 위에서 설명한 난도함수, f(w)입니다.

함수의 input 값인 w는 평가원이 공개하는 각 과목별 1컷 점수이기 때문에

이 함수를 통해 우리는 평가원의 성적 발표 후에 

신속하게 최상위 누적석차 기준 점수인 1%의 과목별 표준점수 합을 추론할 수 있습니다.