코너메뉴 바로가기 주메뉴 바로가기 본문 바로가기 하단메뉴 바로가기

누구를 위한 심사제도인가?

공공의 ‘동료평가’ 제도를 묻다

정리_연극in 편집부

제204호

2021.07.15

지난 6월, SNS에서 한국문화예술위원회의 2021 다원예술활동지원 리부트 1차 동료집단심의에 대한 피드백을 문제 삼는 글이 올라왔습니다. 이미 ‘동료평가’의 방식이 도입된 적은 있으나, 그 문제가 구체적으로 논란이 된 적은 이번 사건이 처음입니다. 이에 연극in 웹진은 동료평가를 직접 경험한 예술가를 대상으로 서면 인터뷰를 진행했습니다. 이번 호에서는 연극연출가와 다원예술 팀의 케이스를 공유합니다. 연극in이 예술가에게 던진 질문은 다음과 같습니다.
1) 내가 경험한 동료평가 제도에 대해 설명해주세요.
2) 동료평가에 대해 주최 측으로부터 어떤 설명을 들었고, 또 어떻게 이해/동의하셨나요?
3) 실제로 동료평가 피드백을 수행하실 때 어떤 생각을 하셨나요?
4) 동료에게 전달한 자신의 평가, 그리고 자신이 받은 동료평가는 어떤 것이었나요?
5) 혹시 전달하기 어려운 지점이 있었다면 그 이유는 무엇일까요?
6) 공모에 함께 임한 예술가들을 동료라고 생각하나요?
7) 동료평가가 포함된 심사는 어떤 개선점이 필요할까요?
8) 동료평가를 거쳐 지원금 수혜를 받는다면 기존 방식과는 다른 의미일까요?
9) 동료평가 혹은 지원 심사제도에 대해 하고 싶은 말이 있다면?

내가 경험한 동료평가 제도에 대해 설명해주세요.

우선 안 좋게 불거지긴 했지만 최근 한국문화예술위원회의 동료 평가 문제를 통해 그동안 비교적 젊은 창작 집단을 대상으로 자주 진행되어 왔던 ‘동료 평가’ 제도가 공론화된 점은 큰 의미가 있다고 생각합니다. 저 역시 최근의 페스티벌에서 동료 평가를 경험하였고, 당시에도 이번 한국문화예술위원회의 목적과 비슷한 이유로 동료 평가를 하게 되었는데, 그럴 때마다 “합리적인 평가제도라면 왜 젊은 창작자들을 대상으로 하는 공모나 페스티벌에만 적용하고, 서울연극제와 같은 메이저 페스티벌이나 서울문화재단이나 한국문화예술위원회 같은 큰 기관의 공모에서는 시간과 돈을 들여 심사위원을 통해 평가를 하는 것인가?”라고 반문을 하였던 터라 최근 기사에서 접한 한국문화예술위원회의 동료 평가 문제는 저에게 더 큰 충격으로 다가옵니다.

동료평가에 대해 주최 측으로부터 어떤 설명을 들었고, 또 어떻게 이해/동의하셨나요?

보통 평가 방식에 대한 설명은 공고문에 게재되어 있었고, 추가로 궁금한 점은 직접 전화로 물었습니다. 제가 했던 공모는 총 2차 혹은 3차까지 있는 심사였고, 서면 심사는 모두 주최측에서 진행한 후였습니다. 저는 2차에서 대본이나 지원서 열람 없이, 5분 내외의 프레젠테이션만 보고 평가를 하거나 온라인 플랫폼에 올린 짧은 영상 홍보물을 통해 평가를 하고 선정이 되는 구조였고, 어떤 심사의 경우 2차 이후에 3차 심사에서 심사위원들의 심층 인터뷰를 통해서 최종 선정되기도 하였습니다.
평가방식에 대한 동의 부분은 솔직히 선택의 여지가 없었습니다. 앞서 말했듯이 대관이든 제작비든 소규모의 제작지원이라도 간절했던 젊은 창작자들 입장에서는 주최 측이 그렇게 하라면 하는 것 말고는 어쩔 도리가 없고, 그나마 선정되면 주최 측에 대한 발언권이 있다고 생각했기에 선정 후 평가 제도의 문제에 대해서 어필해 보기는 했습니다.

실제로 동료평가 피드백을 수행하실 때 어떤 생각을 하셨나요?

“이 시대의 연극 연출가는 제작, 기획, 연출, 단체 운영도 모자라 이제는 심사까지 해야 하는 것인가? 더군다나 같이 공모하는 입장에서?”라고 생각했습니다.

동료에게 전달한 자신의 평가, 그리고 자신이 받은 동료평가는 어떤 것이었나요?

확인해 보니 이번 문화예술위원회는 그나마 평가의 이유도 작성해야 하더군요. 결국 그것 때문에 이 문제가 불거지긴 했지만 저는 그런 것도 없이 상호 점수만 매기는 형태였습니다. 그러나 전문성과 책임성이 없는 피드백을 듣느니 안 듣고 점수만 매기는 것이 덜 잔인하겠다는 생각이 들긴 합니다.

혹시 전달하기 어려운 지점이 있었다면 그 이유는 무엇일까요?

첫째는 정보 부족입니다. 저는 1차 서류 심사 통과자를 대상으로 평가를 했는데, 서류나 대본 등은 보지 못하고, 5분 내외의 짧은 작품 프레젠테이션만 보고 평가를 해야 했습니다. 충분한 참고 자료 없이 오로지 발표자의 발표 능력만 가지고 평가와 피드백을 한다는 것이 말이 안 되는 부분이죠.
둘째는 전문성 문제입니다. 심사도 분명히 어떠한 전문성을 가지고 심사를 하는 것일 텐데, 저는 저의 철학으로 작품을 만드는 전문가지 무언가를 심사하는 전문가는 아닙니다. 따라서 명확한 평가 기준을 확립하지 못한 채 제 주관이나 성향만으로 평가할 수밖에 없기에 올바른 평가나 피드백을 할 수 없는 것입니다.
셋째는 책임감입니다. 정확히 말하면 책임지는 범위라고 할 수 있겠네요. 과연 제가 같은 공모를 하는 입장으로서 동시대 예술, 대한민국의 창작 생태계, 지원자의 발전 가능성 등을 충분히 염두에 두고 심사하는 것이 가능할까요? 제가 작성한 피드백이 어느 정도까지 영향을 미치고, 어디까지 책임져야 하는지 모호한 상황에서의 의사 전달 역시 어려운 점 중 하나입니다.

공모에 함께 임한 예술가들을 동료라고 생각하나요?

동료의 기준은 없습니다. 같은 장르에 있다고 해서 무조건 동료라고 말할 수 없고, 한번 동료가 영원한 동료라고 말할 수도 없습니다. 그저 현재 나의 환경에 따라 동료라고 생각하면 동료가 되는 것이죠. 내가 동료라 생각해도 상대가 아니라고 생각할 수도 있고요.
그런 면에서 수많은 창작자들과 함께하지만 호의를 느끼는 사람도 있고, 때론 혐오를 느끼기도 합니다. 한국문화예술위원회 평가 내용을 보면서 제가 그 지원서들을 보지 않았기 때문에 문제의 평가나 발언 내용이 적절한지는 알 수가 없습니다. 어쩌면 지원서가 아니라 실제 작업물을 보고도 그렇게 느끼는 사람이 있을 수 있죠. 하지만 그것은 직접 서로 대면해서 할 표현이지 심사라는 테두리 안에서는 적절하지 않은 표현이라 생각합니다.

동료평가가 포함된 심사는 어떤 개선점이 필요할까요? 현장에 꼭 필요한 제도라고 생각하나요?

창작 생태계가 끊임없이 변화하는 만큼 새로운 지원 제도나 심사를 연구하는 것은 중요하다고 생각합니다. 동료평가 제도 역시 그러한 노력 중에 하나일 수 있습니다. 하지만 매번 이런 식의 평가를 접할 때마다 심사위원들 일손 덜어주는 느낌을 받거나 심사라는 부담을 당사자들한테 떠넘긴다는 느낌을 받는 이유는 기성 예술가들이 먼저 앞장서서 시행하는 것이 아닌 늘 ‘저예산’, ‘젊은’, ‘신진’ 딱지가 붙은 공모에 국한되어 적용되기 때문입니다. 이번 한국문화예술위원회의 경우는 그 범주는 아니지만 수많은 1차 서류 심사를 공모자들에게 맡기고, 그렇게 추려진 단체의 2차 심층 심사를 초빙한 심사위원으로 한다는 것은 결국 심사위원 일감 줄여준다는 느낌을 감출 수 없기에 기존 취지의 순수성이 의심될 수 있는 부분이라 생각합니다.
따라서 이런 식의 동료 평가를 정말 꼭 해야 한다면 충분히 자료를 검토할 수 있는 시간, 전문성을 갖출만한 프로그램 확보, 심사에 대한 사명감을 공유될 수 있는 장이 우선적으로 마련될 수 있다면 해 볼 수도 있다고 생각합니다.

동료평가를 거쳐 지원금 수혜를 받는다면 기존 선정 방식과는 다른 의미로 나에게 다가오나요?

여러모로 좀 찝찝합니다. 수혜를 받든 안 받든 마찬가지입니다. 만일 수혜를 받았다면 못 받은 다른 팀에게 부끄럽지 않은 창작을 해야겠다는 마음이 조금 더 생기는 정도가 그나마 긍정적인 작용이라면 작용일 수 있겠네요.

동료평가 혹은 지원 심사제도에 대해 하고 싶은 말이 있다면?

평가에는 항상 불만이 따라오기 마련입니다. 저 역시 수많은 공모에 지원해 봤고 떨어질 때마다 심사위원을 욕했고, 붙은 팀들을 훑어보면서 왜 저런 팀이 되고 나는 떨어졌냐는 등의 속 좁은 생각을 하기도 했습니다. 그렇기 때문에 심사에는 굳건하고, 명확한 기준이 필요하며, 강한 멘탈을 요구합니다. 이 부분은 창작과도 별 차이가 없습니다. 예전 제 공연에 달린 “연출 예술병”이란 리뷰가 기억나네요. 여전히 기억에서 지울 수 없는 리뷰지만 그런 불만에 제 창작 가치관이 휘둘릴 거였으면 작품을 만들지를 말아야겠죠. 그만큼 심사 또한 많은 짐을 짊어지는 일이며, 그렇기 때문에 많은 분들이 심사를 꺼리기도 해 이러한 방식이 생겨났는지도 모르겠습니다. 저는 동료 평가든 기존 평가든 꾸준히 연구되었으면 합니다. 다만 ‘동료 평가’는 이미 단어 자체가 비인간성을 조장하는 단어이기에 바꿀 필요가 있다고 보고, 지금처럼의 준비되지 않는 떠넘기기식 심사 역시 개선되어야 할 점이라 생각합니다.

[답변_유명훈 연출가1) ]

본문이미지01
2021년 다원예술 활동지원 Reboot 지원사업 안내 (페이지 캡쳐)

팀이 경험한 동료평가 제도, 공모에 대해 설명해주세요.

최근 아르코에서는 기존의 예술장르를 중심으로 지원하는 것을 넘어서서 새로운 장르나 형식을 지원하고, 이 주제를 담론화하여 ‘다원예술’의 개념을 확장하고자 다원예술 지원사업을 복원하였습니다. 저희는 이 다원예술활동지원 <Reboot>에 ‘차별’을 주제로 한 사업계획서를 제출하여 지원을 신청했어요. 이 사업의 1차 비대면 서류심사는 지원신청자 전원이 참여하는 블라인드 동료평가제로 진행되었습니다. 무작위로 배정된 그룹 내에서 평가자는 다른 지원신청자의 사업계획서를 평가하고 피드백을 남겼습니다.

동료평가에 대해 주최 측으로부터 어떤 설명을 들었고, 또 어떻게 이해/동의하셨나요?

아르코에서는 다원예술에 관련한 개념들을 일방적으로 규정하지 않고, 사업에 지원하는 참여자들 모두가 다원예술의 개념을 생각해보기를 바랐습니다. 동료평가를 도입하면 심의 과정상의 객관성과 수평성을 확보하고 지원자들 서로가 피드백을 제공하여 학습의 기회도 되리라 전망했고요. 공모 접수 결과와 동료평가 절차 및 방안 역시 구체적으로 정리해 매뉴얼을 제공했습니다.
저희는 사업에 지원할 때 동료평가제로 심사한다는 내용을 확인했었고, 아이디어가 도용되지 않도록 보호가 될까 걱정하기도 했으나 어쨌든 동료평가제를 통해 공부할 수 있겠다고 생각했습니다. 동료예술가들이 우리의 아이디어를 어떻게 평가하는지 아는 것 역시 우리 팀의 예술활동에 도움이 되리라 판단했습니다.

실제로 동료평가 피드백을 수행하실 때 어떤 생각을 하셨나요?

심사를 봐야 하는 지원신청서의 양에 비해 시간이 부족하다는 것이 첫 번째 느낌이었습니다. 42건의 지원서를 닷새 안에 확인해야 했으며 완료하지 못하면 예심 탈락한다는 점에서 부담감이 있었어요. 모든 서류를 여러 번 읽어가며 피드백을 하고 싶었으나 결국 만족스러울 만큼 구체적으로 하지는 못했습니다. 두 번째는 심사 기준이 세세하지 못하다는 것이었습니다. 기준은 아래와 같았습니다.
  1. ①사업목적과 신청사업의 부합성: 본 사업을 통해 우리나라 예술계의 다양성과 실험성 향상에 기여할 수 있는가?
  2. ②사업계획의 실현가능성: 지원신청서에 기재된 계획이 구체적이고 충실한가?
  3. ③예산편성의 적절성: 예산 편성항목과 단가 등이 제시한 사업계획에 적합하고, 구체적으로 작성되었는가?
‘다양성’이나 ‘실험성’ 등과 같은 추상적인 단어를 풀이해서 기준을 구체적으로 제시해주고, 심사 기준을 좀 더 세부적으로 정했다면 좀 더 객관적으로 평가할 수 있었을 듯합니다.
세 번째는 블라인드로 심사가 진행되면서, 나중에 누군가가 다른 사람의 지원신청서를 도용해도 저작권을 주장할 수 있는 근거가 없을 거라는 점이 우려가 되었습니다.

동료에게 전달한 자신의 평가, 그리고 자신이 받은 동료평가는 어떤 것이었나요?

우리는 짧은 시간에 많은 지원신청서를 많이 심사해야 해서, 정확히 우리가 어떤 심사평을 남겼을지는 기억하지 못합니다. 저희는 기존 장르와 장르 간의 기계적인 결합이 다원예술이라고 생각하지 않았으며, 좀 더 실험적인 장르가 다원예술에 더 적합하다고 생각했습니다. 예산편성에서는 예술가에게 지급되는 금액이 너무 적거나(아티스트 피), 성평등 교육, 돌봄 노동, 배리어프리 비용이 예산에 책정되지 않았을 경우, 이 부분이 아쉽다는 평가를 남겼습니다.
우리 팀은 ‘차별’을 주요 키워드로 다루었는데, 대체로 ‘정치적’이라는 내용의 피드백을 받았습니다. 그리고 저희는 1차 동료평가에서 떨어졌습니다. 저희가 성명서에서도 밝혔듯 지원신청서가 구체적이지 못하다고 해서 떨어진 것이라면 얼마든지 수용할 수 있지만, 심사를 한 동료 예술가들의 개인적인 정치적 성향이 객관적 심사에 반영되어 떨어졌다고 하면, 그것은 용납할 수 없습니다.
예술가들이 상대 예술가들의 정치적 성향을 판단해 심사에 반영한다는 것은 검열입니다. 그리고 이 모든 것을 블라인드 심사로 진행해 심사한 사람들이 결과에 책임지지 않을 수 있도록 만들었다면 그건 블라인드 동료평가의 시스템이 잘못된 것이라고 생각합니다.

혹시 전달하기 어려운 지점이 있었다면 그 이유는 무엇일까요?

아르코에서도 평가자들이 피드백을 자유롭게, 충분하게 남길 수 없을까봐 무기명 처리했다고 설명했습니다만 전달하지 못할 내용은 없었습니다.

공모에 함께 임한 예술가들을 동료라고 생각하나요? 평소에 생각/감각하는 '동료'는 어떤 사람인가요?

공모전 외의 경우, 예를 들어 함께 예술인의 권리를 확보하기 위해 싸워야 하는 경우에는 동료가 될 수 있겠습니다. 그러나 한 공모에 임한 예술가들은 공모전 내에서는 경쟁자입니다. 동료란 함께 일하거나, 비슷한 가치관을 공유하거나, 가치관이 다르더라도 서로를 인정하는 관계라고 생각합니다. 그러려면 교류와 시간이 필요하죠, 보통의 대인관계처럼요. 처음에 다원사업에 지원을 하였을 때는, 선의의 경쟁을 할 수 있는 선량하고 친절한 동료예술가일 것이라고 생각하였습니다. 어쩌면 저희 지원신청서에 진심 어린 조언을 해줄 수 있는 조력자일 수 있을 것이라는 기대도 하였습니다. 하지만 이번 동료심의평가를 진행하면서 얼마나 우리가 순진했었나를 처참히 깨달았습니다.

동료평가가 포함된 심사는 어떤 개선점이 필요할까요? 혹은 현장에 꼭 필요한 제도라 생각하신다면 그 이유는 무엇일까요?

아르코에서 객관적이고 공정한 평가를 내리기 위해 많이 고심한다는 점은 이해합니다. 또 선정된 심사위원들만이 서류를 심사하는 것보다 동료평가제가 병행되는 편이 덜 권위적이기도 합니다. 먼저 개인적 취향에 따라 주관적으로 평가한 심사평을 여과 없이 지원자에게 전달하게 한 아르코는 혐오발언에 대한 정확한 지침을 먼저 제시해야 하지 않았나 생각합니다. 그리고 공정성과 객관성을 확보하고 싶다면 동료평가제로 당락이 결정되어서는 안 됩니다. 저희는 아르코와 가진 간담회에서 아르코 측에 전문 심사위원의 평가와 동료평가의 결과를 합산하는 방법을 제시하고 구체적이고 명확한 평가기준을 요구했습니다. 그래야 객관성 역시 확보할 수 있으리라고 보기 때문입니다.

동료평가를 거쳐 지원금 수혜를 받는다면 기존 선정 방식과는 의미가 다를까요?

별반 차이가 없을 것이라고 생각합니다. 심사를 거쳐서 선정되었다는 사실은 변함이 없기 때문입니다. 이번 다원사업 동료평가제는 공정하지 않은 심사였기 때문에 저희는 문제를 제기한 것입니다.

동료평가 혹은 지원 심사제도에 대해 하고 싶은 말이 있다면?

아르코 측에서는 심사에 임한 지원자들이 피드백을 마음 놓고 할 수 있도록 심사를 무기명으로 진행했습니다만 이는 오히려 무책임한 발언을 방임하는 결과가 되고 말았습니다. 아르코는 향후 동료평가를 진행하려고 한다면, 많은 보완을 거쳐야 한다고 생각합니다. 혐오표현과 주관적인 의견이 반영된 평가를 진행하지 못하도록 하는 지침과 예술가 자신이 심사평에 책임질 수 있는 방안을 마련해야 할 것입니다.
우리 팀은 이번 일을 통해 ‘표현의 자유’와 그 책임에 대하여 다시 생각해보게 되었습니다. 또한 다시 생각해본 김에 9월 중에 서울과 대전, 광주와 부산 등에서 우리와 뜻을 함께하는 예술가들과 전시와 포럼, 워크숍, 퍼포먼스 등을 진행합니다.
민주주의 사회의 일원으로서 우리에게는 표현의 자유가 보장되지만 거기에는 책임이 따릅니다. 예술가가 누릴 수 있는 표현의 자유는 어디까지이며 책임져야 할 부분은 어디서부터일까요? 예술가는 예술로 말하라는데, 예술가는 예술로 정치를 논하면 안 될까요? 그런데 정치란 무엇일까요? 또 표현의 자유를 두고 플랫폼이나 단체는 어떤 역할을 해야 할까요?

[답변_예술단체 마리모Marimo]2)

※동료평가 제도에 대한 예술가 여러분의 경험과 의견을 나누고자 합니다. 본 질문에 대한 응답을 웹진에 기고하여 주시면 검토 과정(7월 중)을 거쳐 [현장]코너에 이를 게재하도록 하겠습니다. webzine@sfac.or.kr
  1. 안녕하십니까. 극단 시지프 대표이자 상임 연출을 맡고 있는 유명훈입니다. 극단을 운영한 지 내년이면 10년째가 되고 대표작으로는 2017 서울미래연극제에서 BEST 3와 연기상을 수상하여 마케도니아 국제공연 예술제에 초청된 <ON AIR BJ 파우스트>, 그리고 얼마 전 제8회 대한민국 신진연출가전에서 연출상과 남, 여 연기상을 수상한 <시지프의 돌>이 있습니다.
    페이스북/인스타그램 ID : myunghoon_yoo
  2. 예술로 돈을 벌 궁리를 하며 예술가들이 함께 모여 만들었습니다. 누구도 차별받지 않는 행복한 세상을 꿈꾸며, 광주를 기반으로 대전, 서울, 부산 등에 활동하는 예술가들과 함께 활동을 합니다. 인스타그램_ @예술단체마리모

기사가 좋았다면 눌러주세요!

좋아요 선택 버튼

댓글 남기기