우리도 탑티어 리뷰어가 되어보자! 페이퍼 리뷰어 가이드 - ICLR 편
제목을 쓰고보니 낚시성인 것 같기도 하네요 ㅎㅎ
이번 포스팅은 탑티어 컨퍼런스의 논문들이 거치는 단계인 리뷰에 대한 이야기입니다.
AI 페이퍼가 매년 엄청나게 발간되고 늘어가고 있는 상황 속에서
탑티어 컨퍼런스에서도 발표되는 논문의 퀄리티에 신경을 쓰려는 노력을 기울이고 있습니다.
예전에는 컨퍼런스 일정만을 고려한 리뷰어 가이드를 제공했는데,
이제는 어떻게 논문을 읽고 리뷰를 남겨야 하는지 가이드를 잘 제공하고 있습니다.
앞으로도 이런 리뷰어 가이드가 더 섬세해질 것 같아요.
리뷰어도 논문 작성자도, 논문도, 학회도 발전할 수 있는 좋은 시스템 아닐까 합니다.
이번 포스팅에서는 ICLR의 리뷰어 가이드를 같이 살펴보겠습니다.
간단히 얘기해서 연구자가 열심히 연구해서 작성한 논문을 제출하면, 리뷰어들의 관심 분야에 맞게 할당되고
리뷰어가 피드백을 남기고 디스커션이 오가다가 주최측에서 최종적으로 논문을 선정합니다.
딥러닝을 공부하시는 분들께서는 논문을 읽고 구현하는 방식으로 많이 공부하시잖아요?
그래도 한번쯤은 이렇게 리뷰어처럼 엄격근엄진지하게 페이퍼를 바라보는 것도 좋은 경험이 될 것 같습니다 ㅎㅎ
리뷰 프로세스는 짧게 말씀드렸고, 페이퍼를 읽고 리뷰를 남기는 방법을 주로 살펴보겠습니다.
ICLR 이후로 다른 컨퍼런스의 리뷰어 가이드를 연재 형식으로 계속해서 포스팅 해볼게요.
재미있게 봐주세요!
-------
당신을 믿습니다
리뷰어 여러분께서는 ICLR 2021 프로그램 제작의 최전선에 있습니다.
Area Chair와 Program Chair는 리뷰어 여러분의 전문적인 지식과
꼼꼼하고 철저한 리뷰에 따라 논문의 승인을 검토합니다.
그러므로 리뷰어의 역할은 ICLR 2021의 힘에 아주 중요합니다.
논문 리뷰 단계
리뷰는 논문이 AI 분야에 충분한 가치를 제공하고 새로운 지식으로 기여할 수 있는지를 판단하는 것입니다.
프로세스는 다음과 같습니다.
1. 논문을 읽는다
논문 전체를 주의깊게 읽고 관련 연구나 인용을 찾아보는 것은 매우 중요합니다.
충분한 시간을 들여주세요.
2. 논문을 읽으면서 아래 사항을 고려해주세요
1) 연구의 목적 : 논문의 목표는 무엇인가요? 어떤 문제에 대한 기존의 방법보다 더 좋은 방법을 제시하나요?
아니면 새로운 문제와 방법 등의 이론을 제시하나요? 아니면 이런 것들이 섞여있나요?
연구 목표마다 잠재적인 가치와 영향에 대해 다르게 고려해야 합니다.
2) 장점 : 연구 성과가 명확하고, 실험이 엄격히 타당하고, 기술적으로 정확하고, 반복가능하며
새로운 결과를 제시하나요?(이론적으로, 알고리즘적으로 등등)
3) 약점 : 여떤 관점에서 부족하거나 보완이 필요한 점
4) 마음속에 있는 잠재적인 편견을 의식하고 열린 마음으로 논문이 ICLR과 인공지능 커뮤니티에
기여할 수 있는 가치와 관심에 주목해주세요.
3. accept 혹은 reject의 코멘트 작성을 위해 아래 3개의 Key question에 대해 스스로 답해보세요
1) 논문에서 다루는 구체적인 질문 혹은 제기하는 문제는 무엇인가요?
2) 접근 방식이 좋고 이 내용이 논문에도 잘 명시되었나요?
3) 논문이 연구자의 주장을 잘 뒷받침하나요?
이론적이거나 경험적인 결과가 정확한지, 과학적으로 엄격한지 판단하는 것을 의미합니다.
4. 아래의 구성으로 initail review를 작성하세요
1) 논문의 주장을 요약하세요. 긍정적이고 관대하게 작성해주세요.
2) 논문의 강점과 약점을 리스트업 해주세요. 최대한 포괄적으로 작성해야 합니다.
3) 한 두 개의 이유와 함께 명확한 추천사를 작성해주세요.
4) 추천사에 대한 근거를 자세하게 작성해주세요.
5) 논문을 명확하게 이해하기 위해 저자에게 묻고 싶은 질문을 작성해주세요.
그리고 리뷰어 여러분의 논문 평가를 뒷받침하는 근거를 더 제시하세요.
6) 논문이 개선됐으면 하는 점에 대한 피드백을 작성해주세요.
이 피드백은 단지 연구에 도움을 주기 위함이며 평가에 반영되지는 않는다는 것도 써주세요.
5) CoE 리포트를 완성해주세요
ICLR은 Code of Ethics를 채택했습니다.
(여기서 잠깐! Code of Ethics는 딥러닝 연구와 코드의 신뢰도, 타당성, 반복가능성
그리고 연구 윤리, 연구 결과의 커뮤니티에 대한 기여 등을 위해 만들어진 일종의 코딩구현 가이드라인입니다.
차후에 기회가 된다면 Code of Ethics에 대해서도 따로 포스팅해보도록 하겠습니다)
리뷰어들은 할당된 논문에 대한 CoE 리포트를 반드시 작성해야 합니다.
이 폼은 두가지 질문으로만 구성되어 있습니다.
첫 번째 질문은 CoE 위반 가능성 여부에 대한 것입니다.
두 번째 질문은 잠재적인 가능성이 있을 때 작성합니다.
잠재적인 위험이 있는지 리뷰어가 판단해야 합니다.
그렇기 때문에 리뷰어 여러분은 Code of Ethics를 꼭 읽어보고 인지하고 있어야 합니다.
리뷰어는 초기 검토를 마친 후 바로 CoE 리포트를 작성하는 것이 좋습니다.
CoE 제출 버튼은 리뷰를 제출하고 나면 나타납니다.
6) 토론에 참여하세요
ICLR의 토론 단계는 다른 AI/ML 컨퍼런스와는 조금 다릅니다.
이 단계에서 리뷰어, 저자, AC(Area Chair : 컨퍼런스 지역 위원장)이 토론에 참여하고
저자는 제기받은 문제를 해결하기 위해 제출물을 수정할 수 있습니다.
이 단계에서 적극적으로 참여해주세요.
7) 최종 추천사를 작성해주세요
토론 단계에서 오고간 내용과 수정된 제출물을 바탕으로 평가를 업데이트 해주세요.
추천 등급에 대한 변경도 충분히 고려해주세요.
-----------------------------------------------------------
ICLR Review Task에 대한 설명을 여기서 마무리해보겠습니다.
사실 직접 ICLR 홈페이지를 방문해서 이런저런 내용을 다 살펴보기를 권장드리고 싶습니다.
다만 포스팅으로까지 옮겨온 이유는 AI 페이퍼가 범람하는 가운데 퀄리티를 계속해서 올리고자 하는
학회의 입장에서 어떻게 노력을 기울이고 있는가에 대한 내용이고요,
동시에 이 포스팅을 보실 불특정 다수의 딥러닝을 공부하시는 분들에게는
논문을 공부목적으로 주로 보시겠지만 한번쯤은 다른 관점을 갖고 보셨으면 하는 생각에 작성했습니다.
요약은 딱히 없고요, 재미있게 보셨으면 좋겠습니다 ㅎㅎ