미국사회학회(ASA)와 17개 전문단체가 강의평가(SET)는 교수법의 효과를 입증할 수 있는 최선의 척도가 아니라고 지적했다. 

SET는 교직원의 성과를 평가하고 교사 효과를 결정, 이에 따른 강의를 개선하기 위한 전략으로 활용되는 방식이다. 이 평가는 학생들을 교육 방법과 과목에 대한 흥미, 과정 내용의 질, 그리고 만족도 및 효과에 대한 논리적 평가자로 인식한다.

SET에 너무 의존하지 말아야

단체들은 모든 대학이 인사 결정에 있어 지나치게 SET에 의존하지 말아야 한다고 강조했다. 이는 수많은 대학에서 SET를 이행하기 쉽고 값싸다는 이유로 절대적인 측정 도구로 활용하고 있기 때문이다. 실제로 SET는 교수들의 성과급 인상이나 계약 갱신, 승진, 종신 재직 및 고용 평가 등에서 널리 이용되고 있다.

그러나 평가 결과를 인사 결정에 포함시키는 것은 큰 문제가 될 수 있다. 일단 평가 결과 자체가 학급 크기와 과목, 하루 중 과목 시간 등의 여러 다른 요소들에 의해 영향을 받을 수 있다. 

아울러 학생들에게 정말로 필요한지 혹은 교수법의 효과를 보일 수 있는지 여부에 전혀 관련성이 없기 때문이다. 게다가 SET의 아주 작은 평가 차이에도 교수들에게 미치는 영향은 꽤 클 수 있다.

또 SET는 유색 인종이나 여성에 대한 편견의 영향도 받는다. 여성 교수들이 남성에 비해 더 낮은 점수를 받을 가능성이 높은 것으로, 특히 남성 위주로 돌아가는 분야의 경우 여성 교수 및 강사들의 평가에 지대한 영향을 미칠 수 있다.

평가 아닌 피드백 수집으로 활용돼야

ASA는 교수진 심사를 위해 교수들의 효과성을 판단하는 주요 측정 도구로 SET 대신, 증거에 기반한 자료와 동시에 학생들의 피드백을 수집하고 사용하는 것이 좋다고 제안했다.

학생들이 매기는 교수 강의 평가에 대한 질문에는, 학생들의 경험에 더 많이 초점을 둬야한다. 그리고 이는 교수법의 효과에 대한 공식적인 평점이 아니라, 학생들이 피드백을 줄 수 있는 플랫폼으로 간주되는 것이 좋다. 

실제로 미국 노스캐롤라이나-애슈빌대학과 독일의 아우쿠스부르크대학은 이 같은 관행을 실제로 적용해 강의를 평가하고 있다. 이 두 대학은 '지도 형식에 대한 학생 피드백'과 '대학 과정 조사'라는 이름으로 평가를 시행한다. 즉, 평가가 아닌 피드백이라는 것을 강조하는 것이다.

SET는 전통적 평가 시스템의 일부로 간주되는 것이 좋으며, 강사의 자기평가 및 사용된 교재에 대한 평가, 동료 관찰 등이 포함될 수 있어야 한다.

더욱이 피드백 패턴을 문서화하는 도구로만 제한돼야 한다. 교수진이나 그 부서의 개별 구성원들을 비교하는 것은 바람직하지 않다.

캘리포니아-어바인 대학의 경우 교수진들에게 교수법의 효과성을 평가하기 위한 2가지의 증거를 제시하도록 요구한다. 이를 통해 교수들은 학생들의 평가를 받는 것이 아닌, 스스로 평가한 교수 진술서를 제출할 수 있다.

SET 결과, 교수법 효과 입증 못해

SET에 대한 연구를 수행한 캘리포니아대학 통계학 교수 필립 스타크는 SET가 학생들의 만족도를 측정하는 도구일 뿐이라고 지적했다. 이에 학생들의 만족감과 교수법의 효과와는 일치될 수 없다는 것. 

2016년 관련 연구를 실시했던 프랑스 파리도피나대학의 교수 및 연구팀 역시, SET가 교수법의 효과성을 입증하는 것보다 민감한 수준의 기대치와 성 편견에 더욱 좌지우지 된다고 지적한 바 있다. 

당시 연구팀은 남학생들이 남성 강사에게 더 높은 점수를 부여했다며, SET가 여성 강사를 불리하게 만든다고 비판했다.