심리검사의 본질과 신뢰도

심리검사의 본질

 개인차 연구는 갈톤 경에 의하여 감각과 운동기능을 측정하는 인체측정 실험에서 시작되었다. 통계학의 창시자라고 할 수 있는 영국의 피어슨은 측정이론의 중핵을 이루는 통계방법을 개발했고, 프랑스의 비네는 개인차 연구작업의 일부로서 개인지능검사를 최초로 개발하였다. 독일의 슈테른은 실제연령에 대한 정신연령의 비율로 정의하는 지능지수를 개발하였다. 

 

인간의 심리적인 행동을 한 개인이 갖고 있는 고유한 특성으로 간주하면서, 그 고유한 특서의 개인차에 대한 관심이 심리검사라는 측정도구의 접근법을 낳았다. 심리검사는 그 과정이 객관적이고 타당한 방법일 때 의미가 있다. 한 개인이 갖는 심리적 특성은 자연과학에서 어떤 물체의 길이를 잰다든지, 무게를 단다든지 하는 것과 같이 직접적으로 물체의 특성을 파악하고자 하는 것과 다르게 직접적인 관찰이 불가능하므로 간접적인 심리검사를 통하여 그 특성을 알게된다. 이때 주요한 문제는 만약 심리검사가 심리검사로서의 역할을 다하지 못하게 되면 측정하고자 하는 본래의 목적에 충실할 수 없기 때문에 그러한 검사는 아예 하지 않는 것이 낫다는 것이다. 따라서 검사를 통해서 나오는 측정치는 그 심리검사가 어떻냐에 따른 측정치의 신뢰도와 타당도의 문제를 반드시 논의해야 한다. 

 

신뢰도

 신뢰도의 의미

 신뢰도란 어떻게 추정되는지에 따라 여러 의미로 해석할 수 있다. 하지만 근본적으로 신뢰도란 측정하고자 하는 것을 그 검사가 얼마나 신뢰할 수 있게 재고 있는지의 정도를 나타내는 것이다. 한 검사의 신뢰도는 여러가지 오차의 근원인 검사도구, 피검사자, 검사 실시 과정에서 오는 변산적 오차의 정도를 나타내는 지수라고 할 수 있다. 

 

신뢰도에 접근하는 방법 두가지중 첫번째는 측정의 표준오차이다. 이것은 단일한 측정 대상을 같은 측정도구를 가지고 여러번 반복 측정한 결과, 어느정도로 같은 결과를 얻느냐의 일치성에 기초를 둔 향상성, 예언성의 개념이다. 만약 얻은 측정이 신뢰할 수 있다면 여러번 측정한 결과는 같게 나올 것이고, 그렇지 못하면 그 변화 정도는 클 것이다. 이것은 어느 특정한 개인이 측정치 내에 존재하는 변산이 원천이기 때문에 개인 내 변산의 일관성을 문제 삼는 경우이다.

 

두번째, 한 집단의 피검사자에게 측정을 두 번 실시하고 첫번째 실시했을 때의 측정치의 상대적인 순서와 두번째 실시했을 떄의 상대적 순서가 어느정도 일관성이 있는지를 보는것이다. 처음의 측정치와 또 한번의 측정치 사이에 점수의 상대적 순서의 일관성 정도를 보아 시노리도를 측정하는 방법이다. 이것은 변산의 원천을 개인 간의 점수에 두기 때문에 개인 간 변산이라고 볼 수 있따. 이런 개념은 곧 측정치의 안정성, 신뢰성, 예언성을 그 관심의 대상으로 삼는 신뢰도 추정방법이다.

 

신장측정같이 비교저거 안정성이 있다고 볼 수 있는 측정도 안정성이 보장되지 않는다. 더욱 행동과학에서 다루는 인간의 심리행동 특성은 그 속성이 갖는 불명료성, 측정도구의 간접적 측정 때문에 정확한 측정이 어렵다. 그래서 측정자가 개별적으로 제작해서 사용하는 검사들은 여러가지 이유로 신뢰도에 의구심을 자아낼 가능성이 있다.

 

손다이크의 검사점수 변동의 원인

개인의 영속적, 일반적 특질

-일반적 기능

-문항의 지시를 이해하는 일반적인 능력, 검사에 익숙한 정도, 수험의 요령

-이 검사에 출제된 형식의 문제를 푸는 일반적인 능력

-검사장면과 같은 상황에서 일반적으로 작용하는 태도, 정서적 반응, 습관

개인의 영속적, 특수적 특질

-검사의 문항이 요구하는 지식과 지능

-특정한 검사자극에 관련된 태도, 정서적 반응, 습관

개인의 일시적, 일반적 특질

-건강, 피로, 정서적 긴장

-동기, 감독자와의 인간관계

-온도, 광선, 통풍 등의 영향

-검사의 문항형식이 요구하는 기능에 대한 연습의 정도

-현재의 태도, 정서적 반응, 습관의 강도

개인의 일시적, 특수적 특질

-검사를 받는 도중에 생긴 피로와 동기의 변화

-주의력, 조절력, 판단기준의 동요

-특수한 사실에 대한 기억력의 동요

-검사가 요구하는 지식이나 기능에 대한 연습의 정도

-특정한 검사자극에 관련된 일시적인 태도, 정서적 반응, 습관의 강도 등

-추측에 의해서 답할 경우의 운수

 

한 검사에서 나오는 점수는 그 검사가 실제로 재는 능력과 앞에서 든 오차의 작용과 더불어 나타낸 것이라고 볼 수 있다. 이들 중 개인에 대한 오차를 오차변량이라고 하고 그 변산의 원천을 오차원이라고 한다.

 

신뢰도 계수 해석방법

-검사의 신뢰도는 두 평행검사의 관찰점수 사이의 상관계수와 같다는 뜻이다. 두 평행검사에서 각 피험자의 관찰점수가 동일하고 각 검사 내에서 관찰점수의 분산이 있을 때 그 검사는 완전한 신뢰도를 갖는다.

-피어슨 상관계수에 대한 해석이다. 상관계수의 제곱은 한 변인이 다른 변인과 선형관계에 의하여 설명되는 변량의 비이다.

-신뢰도 계수는 관찰점수 변량에 대한 진점수 변량의 비율, 관찰점수 변량 중에서 진점수 변량이 차지하는 비이다. 검사의 신뢰도가 증가함에 따라 오차점수 변량은 상대적으로 작아진다.

-관찰점수와 진점수 간의 상관계수의 제곱으로 신뢰도 계수를 나타낸다. 검사의 관찰점수는 평행검사의 관찰점수보다 그 검사의 진점수와 더 높은 상관을 갖는다. 신뢰도는 타당도에 영향을 미친다. 타당도 계수는 신뢰도 계수의 제곱근보다 더 높을 수는 없지만 신뢰도 계수 자체보다는 더 클 수 있다.

-신뢰도를 오차점수 분산과 관찰점수 변량과의 관계로 나타낸다. 피험자 집단으로부터 수집한 관찰점수의 변량 정도는 신뢰도에 중요한 영향을 미친다. 

 

측정의 표준 오차

신뢰도 개념을 이해하기 위해 진점수라는 개념을 도입해야한다. 진점수는 한 검사가 오차 없이 어떤 특성을 측정할 때에 얻어지는 점수를 말한다.

한 검사에서 한 개인의 심리적 특성에 대해 얻은 관철점수를 x라고 하면 이 관찰점수는 복합된 점수라고 볼 수 있는데 최소한 진점수와 오차점수의 합으로 볼 수 있다. X관찰점수=T진점수+E오차점수

 

여기서 e는 검사점수의 변동을 일으키는 모든 요인들에 의하여 생기는 변동점수를 말한다. 오차점수는 +,-방향으로 영향이 있다. 이 오차점수는 무선적, 우연적이므로 한 개인이나 집단에 있어서 이 점수는 상호독립적이고 점수의 분포는 정상분포를 이룬다고 가정한다.

 

측정의 표준오차에 대한 해석

측정의 표준오차는 정상분포를 이루고 있다는 가정하에서 정상분포의 해석을 적용할 수 있다. 표준오차가 크면 신뢰도는 낮아지고 거기서 얻어진 측정치는 부정확하므로 진점수의 추정의 범위는 넓게 된다. 그래서 검사를 해석할 때에는 조그만 점수의 차를 지나치게 과장해서 해석하는 일이 없도록 해야한다. 

 

표준오차와 신뢰도 계수와의 관계

 한 검사의 신뢰도 계수는 그 검사 속에 포함되어 있는 오차점수의 크기를 표시해 주므로 한 검사가 얼마나 신뢰할 수 있는가를 나타낸다. 얻은 신뢰도 계수를 의미있게 해석하기 위해서 측정의 표준오차를 통한 해석과 그 신뢰도 계수를 결정한 요인들을 고려한다. 각 신뢰도 계수는 그 계산방법에서 요구되는 전제조건이 충족되는 상태에서 계산되었기 때문에 어떤방법에 의해 계산한 것인가를 밝혀주어야 한다. 신뢰도 계수는 같은 검사라도 대상집단이 다르면 대상집단의 연령, 교육 정도, 성별, 사회, 경제적 지위 등의 요인 때문에 신뢰도 계수가 다르게 나타날 수 있으므로 대상집단의 성격을 고려하여 해석하여야 한다. 추상적인 의미의 신뢰도 계수란 있을 수 없으며, 반드시 신뢰도 계수가 계산된 구체적인 집단의 기술임을 알아야 한다.

 

신뢰도의 종류와 검증

한 검사의 신뢰도를 검증하기 위한 실제적 자료를 통한 경험적 추정방법은 다양하다. 각각의 방법은 그것이 가정하고 있는 오차의 근원에 따라 달리 추정하고 있다. 

 

검사-재검사 신뢰도: 안정성 계수

 한 개의 평가도구를 피험자에게 두번 실시하여 그 전후의 결과에서 얻은 점수로 상관계수를 산출하는 접근 방법이다. 즉 처음 실시했을 때의 점수와 나중에 실시했을 때의 점수 사이에 어느 정도의 안정성이 있는지를 보는 것이기 때문에 안정성 계수라고도 한다.

 

저울의 신뢰도를 검증하기 위해서 우선 동일한 물건을 여러번 되풀이하여 재어보고 무게의 값으로 분포를 그린다면 그 분포의 변산도가 그 저울의 신뢰도의 정도를 표시해 준다. 그러나 인간을 대상으로 하는 심리측정에 있어서는 어떤 검사를 여러번 되풀이하여 실시한다는 것이 어렵다. 따라서 어떤 한 집단에 대한 검사를 두번 실시하고, 그 두 결과 간에 상관계수를 내어서 신뢰도를 추정하려는 것이다. 두 검사의 결과 간에 상관계수가 높으면 신뢰도는 높다고 할 수 있다. 

 

평가도구 또는 검사에 표본이 되는 문항의 오차변량이 진 변량으로 취급된다. 어떤 검사든지 결국에는 몇 개의 문항으로 구성되는 데, 측정하는 특성은 같다 해도 어떤 문항들을 검사 속에 포함시키는 가에 따라 검사의 결과가 달라질 수 있는 것이다. 문항표본의 성질에 따라 같은 능력을 가진 학생의 점수가 다르게 나올 수 있는데, 이 방법에서는 동일한 검사이기 때문에 문항표본에서오는 오차가 전후 같아져서 신뢰도가 사실보다 더 크게 나올 확률이 많다. 

 

전후의 검사 실시에서 여러 가지 조건인 내적동기상태, 수험태도, 검사지시, 검사시간 등을 똑같이 통제하기 어렵다. 검사는 표준화된 수험상태, 수험방법을 전제해야 하는데 이 방법에서는 오차가 가중될 확률이 있다. 

이런 난점 때문에 검사-재검사 신뢰도는 기억과 연습의 효과에 의한 영향을 비교적 적게 받는 검사의 경우를 제외하고는 널리 쓰이지않는다. 

 

동형검사 신뢰도: 동형성계수

 동형검사 신뢰도는 어떤 한 검사의 내용과 곤란도는 같지만 문항의 형태가 다른 두개의 동형검사를 제작하고 그것을 같은 피험자에게 실시하여 두 동형검사에서 얻은 점수 사이의 상관을 산출하여 신뢰도 계수를 얻는 방법이다. 동형성 계수라고도 한다. 자아개념검사와 같은 표준화검사를 제작할 때 재고자 하는 특성은 모두 자아개념이지만 구체적 문항들은 서로 상이한 두 검사를 만들어 동시에 또는 적당한 시간 간격을 두고 한 집단에 실시해 두개의 결과의 상관계수를 낸다. 이와 같이 동일한 특성을 측정하고자 하는 두 검사가 얼마나 동등한 특성을 재느냐를 따지는 것이 관심이라서 이 방법의 신뢰도를 동등성 계수라고 한다. 

 

측정하려고 하는 내용은 서로 다르지만 두 검사가 측정이론상에서 보아 동질적이고 동일하다고 측정할 수 있는 문항으로 구성된 검사를 통하여 신뢰도를 추정하고자 한다. 기억효과, 연습효과를 극소화싴고, 문항표본에서 파생하는 오차도 오차변량으로 취급하게 된다는 장점을 갖고 있다. 그러나 실제적으로 동질적인 두 검사를 제작한다는 데 어려움이 있다.

 

반분신뢰도: 동질성 계수

 여러개 문항으로 된 검사를 어떤 방법으로 나누어 각각의 반쪽짜리 검사를 하나의 검사로 취급하여 얻은 점수를 서로 비교하여 이들 간의 일치도 혹은 동질성 정보를 보는 방법을 반분신뢰도라고 한다. 한 개의 평가도구 또는 검사를 한 피험집단에 실시한 다음 두 부분의 점수로 분할 하고 이 분할된 두 부분을 독립된 검사로 생각해서 그 사이의 상관을 계싼하여 신뢰도를 측정하는 방법이다. 반분신뢰도는 두 부분의 검사사이의 상관이 기초가 된다.

 

한 검사를 두개의 동등한 부분으로 나누는 방법은 문항분석을 통해 문항의 곤란도, 내용, 변별도 등을 고려해 두 문항이 가장 동등한 것끼리 선정하여 양쪽으로 동등하게 나누는 것이다. 그러나 실제로는 이러한 문항통계치를 구하는 복잡성을 피하기 위해 간편한 몇가지 방법을 사용한다.

 

전후반분법으로 전체 문항이 100개 있으면 1-50번 까지를 한 부분, 그 후를 또 한부분으로 나누어 각각 채점하고 둘 사이의 상관을 내는 방법이다. 이 방법은 검사에 특히 속도 요인이 많이 포함되있거나 검사문항이 곤란도의 순위로 나열된 경우에는 동형검사로 나뉘지 않아서 문제가 된다.

 

기우반분법은 문항의 번호가 기수인 것들을 한 부분으로 하고 우수인 것들을 다른 한 부분으로 하여 따로 채점하고 둘 사이의 상관을 내는 방법이다. 문항들이 동질적이고 곤란도의 순서가 쉬운것에서 어려운것으로 배열된 경우 적당하지만, 이질적인 문항이 상재해 있거나 곤란도의 순서로 문항배열이 되어 있지 않을 경우에는 적합하지 않다.

 

난수표에 의해 두부분으로 나누는 방법이 있다. 이 방법은 문항이 어떻게 선택되어도 무방한 경우 적용한다.

의식적인 비교에 의한 반분법으로 의식적으로 각 문항의 종목, 내용, 곤란도 등 문항의 성질을 고려해서 비슷한 두부분으로 분할하는 방법이 있다. 

 

신뢰도에 영향을 주는 조건

신뢰도의 추정방법

 신뢰도 계수의 크기는 어떤 접근방법에 의하여 계수가 계산되었는지에 따라서 달라진다. 만일 같은 검사도 여러가지 방법을 동시에 사용한다면 얻어진 신뢰도 계수가 서로 다를 수 있다. 따라서 어떤 방법으로 신뢰도 계수를 계산할 것인가를 고려해야 하고, 특정한 방법을 쓸 수 있는 기초 조건이 어느정도 성립되있는지 고려한다.

 

검사-재검사 방법은 연습의 효과가 작용하는 경우의 검사이면 적절치 않고, 동형검사방법은 두 형이 동등한지를 보아야 하며, 반분법은 두 부분이 같은 표준편차로 나와 있는지 고려해야 한다. 

 

검사의 길이

 한가지의 특성을 재려는 검사에서 모든 문항이 동질적인 경우 그 검사의 길이, 문항의 수를 늘리면 신뢰도 계수는 커진다. 일반적으로 한 개인의 전집에 특성은 조그만 표집을 통하여 추정되는 것이므로 여기서 얻어진 점수는 원래의 진점수에 대한 추정치에 불과하다. 그래서 표집이 클수록 전집의 모수치를 추정하는 추정치는 더 정확하고 표집의 오차도 작아진다. 검사문항의 표집에서도 표집이 클수록 검사의 길이는 길어지고, 검사는 더 신뢰할 수 있게 된다. 

 

단의 이질성

상관되는 두 변인의 변산도가 축소된 경우에는 상관계수가 작게 나온다. 상관도인 신뢰도의 경우에서도 마찬가지로 적용된다. 측정하고자 하는 능력이나 특성의 분포범위가 좁은 집단에서 계산되어 나오는 신뢰도 계수는 같은 특성에 비추어 넓게 분포되어 있는 집단에서 나온 신뢰도 계수보다 작게 나온다. 

검사 제작자는 통용범위가 가능한 모든 다른 집단에 대하여 각각 독립된 신뢰도를 보고해 주어야 한다.