소시오톡
[수리사회학] Electronic Publication and the Narrowing of Science and Scholarship
 
1
  119
Updated at 2017-06-08 12:11:45
Evans, J. A. 2008. Electronic Publication and the Narrowing of Science and Scholarship. Science, 321(5887): 395–399.

시작하며

과거에는 책 형태로 출판된 저널에서 논문을 찾아 읽고 인용하며 연구를 진행했다면 많은 논문과 저널이 디지털 아카이브화 된 오늘날의 연구는 어떤 방식으로 진행되고 있을까요? Evans (2008)의 연구는 이렇게 변화한 연구 환경에 따라 학자들의 인용 형태가 어떻게 달라졌는지를 실증적으로 분석합니다. 그에 따르면 요즘 많은 학자들은 논문을 숙독(peruse)할 때는 인쇄물로, 훑어볼(browse) 때는 인쇄물이나 온라인으로, 필요한 논문을 검색하고 인용을 참조할 때는 온라인으로 작업을 수행한다고 합니다. 특히 온라인을 통한 검색이 활발한 것은 인쇄물에 비해 필요한 것을 재빨리 찾기 용이하고 언제 어디서든 접근가능하다는 특성이 미친 영향이 클 것입니다.

좀 더 구체적으로 논문을 온라인에서 읽을 수 있다는 것이 오늘날의 연구에 미치는 영향은 어떤 것일까요? 저자는 이 영향을 크게 다음의 세 가지 방식으로 세분화 해서 실증합니다.
  1. 후속 연구가 평균적으로 얼마나 오래된 선행 연구를 인용하는지
    (‘Average historical depth of citations’),
  2. 후속 연구가 얼마나 다양한 논문과 저널을 인용하는지
    (‘Number of distinct articles and journals cited’)
  3. 특정한 논문이나 저널에 대한 인용이 얼마나 집중되어 있는지
    (‘Herfindahl concentration of citations to particular articles and journals’)
결과를 미리 밝히자면,
  1. 더욱 오래된 논문과 저널이 온라인에서 접근가능해졌음에도
    학자들은 더욱 최신 연구를 인용하는 경향을 발견했고,
  2. 더욱 많은 수의 논문과 저널이 온라인에서 접근가능해졌음에도
    학자들은 더욱 적은 수의 연구를 집중적으로 인용하는 경향을 발견했습니다.


데이터와 방법론

  1. 인용 데이터: Thomson Scientific의 과학, 사회과학, 인문과학 인용 지수(CI) 자료
  2. 저널의 온라인 이용가능성: Information Today, Inc의 Fulltext Sources Online (FSO) 자료
    (인용 지수 및 FSO 자료를 결합해 2006년까지 온라인으로 이용가능했던 저널의 26,002,796개 논문과 그 논문들을 인용한 8,090,813개의 추가적 논문을 분석 대상으로 했습니다.)
  3. 이상의 핵심적인 변수 이외에도 아래의 표에서 볼 수 있듯 인용 패턴에 영향을 미칠 것으로 예상되는 다양한 변수들을 분석에 포함했습니다. 이후에 필요할 때마다 어떤 식으로 측정했는지를 소개하겠습니다.


  4. 방법론: 저널 및 학문 분야(subfields) 내의 고정효과를 분석한 패널 회귀 분석을 사용했습니다.

결과 분석

분석 1. 후속 연구가 평균적으로 얼마나 오래된 선행 연구를 인용했는가

고정효과 OLS 모형을 아래의 모델로 분석했습니다.


종속변수인 CiteDepth_it는 해당 논문이 출판된 해로부터 i 저널이나 학문 분야에서 인용이 이뤄졌는지를 측정한 t 시기까지 평균적으로 얼마나 오랜 시간이 지났는가를 나타냅니다. IssueDepth_it 변수는 t 시기 이전까지 얼마나 오랜 기간 동안 하나, 둘, 혹은 세 개의 상업적 디지털 아카이브에서 i 저널이나 학문 분야를 공급했고 또 그것이 무료로 이용가능했는지를 나타냅니다. 이 변수는 이후의 분석에서도 계속 등장합니다.


위 결과 그림에서 볼 수 있듯, IssueDepth가 커질수록 CiteDepth는 줄어드는 결과를 확인할 수 있습니다. 앞서 정리했듯, 더욱 오래된 논문과 저널을 온라인에서 손쉽게 이용할 수 있음에도 오히려 더욱 최신 연구를 인용하는 경향을 알 수 있습니다.

분석 2.  후속 연구가 얼마나 다양한 논문과 저널을 인용했는가

조건부 고정효과 음이항 모형(conditional, fixed-effect negative binomial)을 아래의 모델로 분석했습니다.


ArticlesCited_it는 i 저널이나 학문 분야에서 t 시기 이전의 20년 간 몇 개의 서로 다른 논문이 인용됐든가를 측정한 변수입니다.


위 결과 그림에서 볼 수 있듯, IssueDepth가 커질수록 ArticlesCited는 역시 줄어드는 결과를 확인할 수 있습니다. 다시 말해, 더욱 오래된 논문과 저널을 온라인에서 이용할 수 있음에도 인용되는 논문 및 저널의 다양성은 감소했음을 알 수 있습니다.

분석 3. 특정한 논문이나 저널에 대한 인용이 얼마나 집중되어 있는가

고정효과 OLS 모형을 아래의 모델로 분석했습니다.


종속변수인 ArticleCiteConcentration_it는 i 저널이나 학문 분야에서 t 시기 이전의 20년 간 인용된 논문 중에서 얼마나 인용이 집중됐는지를 Herfindahl 지수로 측정한 것입니다. 이 변수의 수치가 높을수록 일부 논문을 집중적으로 인용했음을 알 수 있습니다.


위 결과 그림에서 볼 수 있듯, 붉게 칠해진 무료로 사용할 수 있는 일부 경우 우하향 하는 결과가 나오기도 했지만, 전반적으로는 집중도가 커짐을 확인할 수 있습니다. 즉, 더욱 오래된 논문과 저널을 온라인에서 이용할 수 있음에도 일부 논문들이 더욱 차별적으로 인용되는 현상을 볼 수 있습니다.

추가 분석. 분석에 이용된 시간프레임을 1년부터 30년까지 늘려도 결과가 같은가


앞의 분석들이 공통적으로 t 시기 이전의 20년 동안의 인용 현황을 이용했던 것을 보완하여 1년부터 30년까지 그 수치를 조정해봤습니다만, 결과는 아래와 같이 대동소이 했습니다.

결론

저자는 이러한 분석을 종합하면서 인쇄된 형태의 논문 및 저널이 갖는 의외의 장점이 그것의 그리 완벽하지는 않은 색인 능력(the strength of poor indexing)이 아니었나 추측합니다. 색인이 완벽하지 않다는 점은 때때로 학자들을 그들의 연구 관심사와 그리 관련성이 높지 않은 분야의 논문으로도 이끌고, 다른 학문 분야를 슬쩍 엿보게끔 만들기도 하고, 과거의 연구들을 발굴하게 만들기도 하는 숨겨진 장점이 있다는 것입니다. 저자가 저널의 온라인 아카이브화에 대해 특정한 규범적 입장을 취하고 있는 것은 물론 아니지만 말입니다.

학생들의 논의 (selected)

  1. 학계에 관해 연구를 하는 과정에서 책과 학위 논문이라는 상당한 필드를 제외한 한계가 있다.
  2. Science / Social science / Humanities 간 Citation pattern 비교도 재미있지 않았을까. 자연과학은 최근 관심사를 다루는 최근에 나온 논문을 인용하고, 인문학은 고전을 인용하며 사회과학은 그 사이에 속한다는 분석이 Merton(1967)때부터 있었는데 이 연구에서는 어떻게 나타날지 궁금하다. 어쩌면 결과를 자연과학화라 얘기할 수도 있지 않을까.
  3. 논문에서는 온라인 DB의 등장과 피인용 불평등 및 최신연구 편향 사이의 인과관계에 대한 가설로 검색기능에 따른 노출 메커니즘의 변화를 제시하고 있다. 이 가설을 입증하기 위해서는 대규모 데이터에 대한 분석보다는 실험을 이용한 방법이 더 효과적일 것으로 생각된다.
  4. 온라인 상에서도 유료/무료에 따른 차이가 상당히 크며 무료 아카이브의 경우에는 패턴이 다소 다르게 나온 경우도 있는데 이 점에 대한 설명이 결여됐다.
  5. 종속 변수가 저널 온라인화에 의한 것인지 명확하지 않은 듯하다. 오히려 “Narrowing of science and scholarship”은 최근 학계 전반의 경향임에도 불구하고, 이를 모두 저널 온라인화의 효과로 소급해버리는 것은 아닌지 우려가 든다. 예를 들어, 저널 온라인화는 학계의 경향을 다소 심화시키는 일종의 상호작용 효과일 수도 있다.
    반론적 성격: 현재의 온라인 저널 환경에서는 더욱 극단적인 멱함수 분포를 따른다고 가정할 수 있는 것인가? 멱함수법칙에서 다루었던 Newman(2006)의 논문 및 본 논문에서 인용된 Price(1965)에서, Scientific paper의 인용 횟수가 멱함수 분포를 따른다고 밝혔다. 즉, 온라인 저널 검색이 활발하지 않았던 1965년도에도 멱함수 분포를 띄었던 점을 고려해야 한다.
  6. 스티브 제이 굴드가 '왜 현대 야구에서는 4할 타자가 없을까?'에 대해 자신의 책에서 다뤘던 것이 생각이 났다. 선수들의 전반적인 기량이 낮고 편차도 심했던 과거 야구와는 달리, 참여자들의 풀이 넓어지고 경쟁이 강화되면서 선수들의 기량이 평준화되면서 4할 타자가 사라졌다는 것이 그의 견해였는데, 만일 이러한 경향이 현대 과학 연구가 겪고 있는 양적 팽창에도 동일하게 적용될 수 있다면 현대의 과학 연구 역시 질적으로는 점점 상향평준화되고 있다 봐야 할 것이다. 그런데 정작 Evans의 연구를 보면 연구에 대한 인용은 점점 편중되어 가고 있는 상황인데, 이를 과학자 공동체 내부에서 어떤 방식으로 해결할 수 있을지 간단하게 논의해 봐도 좋을 것 같다.
  7. 최저가 검색사이트의 존재와 마찬가지로 인터넷/온라인 환경은 "최적화"에 최적화되어있다고 생각된다. 바꿔 말하면, 소수에 대한 집중화 현상 혹은 양극화는 online society의 근본적 문제점이라고 볼 수도 있다. 그런데 이 현상은 1) market이 커지면서 허수가 많아지거나, 2) 정보접근성이 높아지면서 quality에 대한 판단이 용이해지면서 나타날 수도 있다. 즉, Evans의 비판처럼 academic consensus가 구조적으로 강요되는 것이 아니라, 고품질의 논문/저널이 살아남아 진화하는 것으로 해석할 수도 있을 것 같다. 이런 가정이 가능하다면, 이를 테스트하기 위해서 highest quality journal 및 article을 선정해서 유사한 분석을 해볼 수 있지 않을까? 그 경우에도 유사한 결과가 나타나는지, 약화 혹은 강화되는지 궁금하다.
  8. 자연과학이나 공학 분야의 경우 전통적인 literature review와 가설 및 가설검정, 그리고 투고와 리뷰로 이어지는 학술 저널 출판의 의미가 상당부분 퇴색되어 가고 있는 상황인데, 이러한 상황 속에서 Evans의 글에서 지적하는 과학 연구의 인용 편중 현상이 어떤 형태로 굴절되어 나타날지 생각해 보는 것도 흥미로울 것 같다.
   
NO
Comments
아직까지 남겨진 코멘트가 없습니다. 님의 글에 코멘트를 남겨주세요!