It's more than just statistical significance

(원작성일: 2025.5.9)

이건 이번에 게재 소식을 들은 논문을 작업하면서 얻게 된 가장 큰 교훈이다.
​
나는 박사과정 시작 이후부터 본격적으로 통계 연구방법을 배우기 시작했는데, 그러다보니 정말 많은 trial and error가 있었다. 그 중에서도 가장 나를 힘들게 한 것 중 하나는 통계적으로 유의미한 패턴을 발견하는 것이 정~말 드문 일이었다는 것이다. 아마 많은 연구자들이 최소 한 번 쯤은 경험한 일일 것이다.

일반적인 통념은 통계적으로 유의미한 결과가 없는 논문, 소위 말해 별(*)이 뜨지 않는 결과밖에 없는 논문은 게재되기 힘들다는 것이다. 그런데 가설을 수립하고 데이터 분석을 하다 보면 null results가 나오는 경우가 정말 많았다. 내가 박사과정 때 가장 처음 제대로 작업하기 시작한 논문도 그랬다. 처음 별이 뜨지 않는 결과를 봤을 때 낙담도 참 많이 했었다.

그래서 통계적으로 유의미한 결과가 쏟아져 나오는 데이터를 보게 되면 정말 기뻤다. 짧은 내 커리어 동안 그런 경우가 두 번 있었는데, 첫 번째 경험이 바로 이번에 게재된 논문이었다. 이 논문은 학과에 새로 온 교수가 같이 작업할 박사과정 학생을 찾는다는 소식을 듣고 내가 지원해서 같이 작업하게 된 프로젝트에서 출발했다. 처음 데이터를 받아들고 분석을 시작했을 때 나는 놀라움을 금치 못했다. 여러 가지 방식으로 model specification 바꿔보아도 결과는 항상 통계적으로 유의미한 패턴을 보여주었다. 와! 이게 게재되는 건 정말 시간 문제겠다! 라는 생각이 들었다. 비록 내 핵심 연구 분야와는 동떨어진 주제였지만 그래도 뭔가 첫 논문 게재의 희망이 보이는 듯 해서 굉장히 뿌듯했다.
​
그럼 null results를 가지고 고생하던 내 첫 번째 논문은 어떻게 됐을까? 지금 이 시점에서 두 논문의 결과를 보면, null results만 있던 첫 번째 논문은 3년 전에 좋은 sub-field 저널에 게재되었지만, significant results가 굉장히 일관되게 나오던 논문은 이번 달에서야 한 단계 가량 아래 평판을 가지고 있는 sub-field 저널에 게재되었다. 첫 번째 논문은 4번째 투고 시도 만에 게재되었고, 두 번째 논문은 무려 8번째 (!) 시도 만에 게재되었다. 중간에 R&R 이후 conditional acceptance를 받는 데 실패한 사례까지 포함한 것이다. 
​
정말 긴 시간이 걸렸고, 우리를 가장 힘들게 한 건 "통계적으로 유의미한 결과가 없다"가 아니었다. 왜냐면 데이터 분석 결과는 굉장히 명확했으니까. 리뷰어들이 지적한 점은 다른 것들이었다. 변수 측정 방식, 이론, 스토리 텔링, 결과의 참신성 등등..결과가 통계적으로 유의미한지 아닌지는 아무 상관 없이, 훨씬 더 학자 개개인들의 주관이 많이 개입되는 영역들이었다. 
​
물론 null results를 바탕으로 논문을 게재하는 건 여전히 힘들다. 결과가 통계적으로 유의미하지 않으면 많은 경우 리뷰어들은 다른 부분에서 더 명확한 강점을 보고 싶어한다. 그리고 통계적으로 유의미한 결과가 없다는 것은 리뷰어들이 (여러 가지 이유로) 논문을 마음에 들어하지 않을 경우 게재 불가를 추천할 수 있는 강력한 이유가 항상 최소한 하나는 있다는 뜻이기도 하다. 

하지만, 7년 전 처음 별이 뜬 결과를 보고 좋아하던 나에게 한 마디 해줄 수 있는 기회가 온다면, 아마 이렇게 말할 것 같다. "별이 전부는 아니더라.."