[수리] Electronic Publication and the Narrowing of Science and Scholarship
 
1
  102
2019-11-03 12:08:55

'데이터 사이언스 시대의 지식사회학은 어떻게 하는가'라는 질문에 모범이 될만한 논문입니다.

   
18
Comments
1
2019-11-06 12:56:34

1. 논문의 저자가 말하는 것처럼 논문의 reference가 점점 최근의 것에 집중되고, 인용이 많이 되는 소수의 논문에 집중되는 현상이 과연 논문을 작성하는 저자들에게만 책임이 있는지 궁금합니다. 특히 논문을 journal에 투고하는 저자들이 reviewer의 입김으로부터 완전히 자유롭지 못한 현실을 반영해본다면 오히려 paper, print 논문에서 online 논문으로의 발전이 직접적으로 저자들에게 영향을 준 것보다 reviewer들에게 영향을 준 부분이 컸던 것은 아닐까라는 생각을 해보았습니다. 수 많은 논문들이 그들 앞으로 할당되고 그들에게 보다 공신력 있는 조언을 해주기 위해서 reviewer이 제시해주는 이론들은 소위 말하는 대가들의 이론, 그리고 최근의 fancy한 이론들이라고 생각됩니다. , 오히려 저자들은 논문을 구상하고, 논리를 펴나감에 있어서 넓은 논의를 제시하고 싶지만 reviewer가 주는 답변은 제한적이기 때문에, 본 논문이 지적하는 현상들이 나타나는 것은 아닐까라는 의문이 듭니다. 그런 의미에서 교수님께서 현실적으로 느끼시는 과거와 현재의 reviewer들의 유의미한 행태의 변화가 있는지 궁금합니다.


2. 본 논문에서 부정적으로 바라보는 지금의 현실이 과연 부정적이기만 할까라는 생각을 해보았습니다. 분명한 단점이 있는 것은 사실이지만 장점이 존재하는 것 또한 사실이라고 생각합니다. 본 논문이 제시하는 것처럼 최근의 paper들이 상대적으로 최근의, 좁은 영역의 paper를 인용하는 것이 오히려 trial and error를 줄이고, 선행연구가 제시한 굵직한 논의를 세분화하여 보다 정교하게 이론화하는 과정이라고 볼 수 있다고 생각합니다. 오히려 통계적인 방법론이 발전하고, 그것을 실행할 기술 또한 발전하면서 이전에 정교하게 measure하지 못했던 부분들을 보완하고 보다 통계적으로 유의미한 결과를 내기 위한 노력들이 이러한 현상으로 나타난 것일 수도 있습니다.

물론 이런 현상이 지속된다면 논문이 말한 것처럼 뉴턴이나 다윈이 등장할 확률은 낮을 것입니다. 리더십에 관한 수업 중에 교수님께서 현재 리더십을 연구하는 사람들에게 영향력을 주는 가장 최근의 리더십연구가 1980년대에 처음 알려진 변혁적 리더십이라고 말씀했습니다. 30년간 리더십을 연구하는 많은 학자들이 변혁적 리더십을 넘는 다른 이론을 만들지 못했고, 그 연구를 exploitation하는 수준에 머물러 있었다는 것입니다. 보다 정보에 접근하기 쉬워지고, 빨라지면서 나타나는 부작용이 exploitation 현상을 가속화했는지는 모르겠습니다. 그러나 기술적으로 성장하고, 많은 paper를 쉽게 접할 수 있는 현대에 진정한 의미의 exploration을 위해서 고전의 중요성을 인지하고, 보다 넓은 영역의 paper를 학습하는 것이 주는 의미에 대해서 다시 한 번 생각하게 해주는 논문이었다고 생각합니다.

WR
1
2019-11-06 22:01:42

1. Evans의 논문과 큰 관련은 없는 것 같지만, electronic submission이 증가하면서 투고가 더 간편해졌고, reviewer들이 읽어야 할 논문도 늘어났습니다. 아무래도 꼼꼼히 리뷰하기 힘들고 편협한 코멘트를 할 위험도 있구요. 한편, 인용수가 중요해지면서 은근히 자신의 논문을 인용하기를 강요하기도 하고, 이는 더욱 최근논문을 인용하도록 유도할 수도 있습니다. 

2. 말씀하신 것처럼 한 discipline에서 새로운 이론이 나오기 힌들어진 면이 있는 것 같습니다. 한편 discipline 간 융합이라는 새로움은 추구하기도 하죠. '융합'도 결국 다른 형태의 exploitation뿐이 되버릴지는 두고봐야 할 듯 합니다. 
1
2019-11-06 16:48:01

1.

 이 연구에서는 인용이 최근 논문에 대해 이루어지는 경향을 논문을 온라인으로 이용가능하게 되었기 때문임을 확인하기 위해서 여러 통제변수들을 분석에 포함시켰습니다. 첫번째로 65년에서 40년간 시간이 흐르며 인용 수가 늘어나는 트렌드를 통제하기 위해 1부터 40까지의 수를 변수로 포함시켰습니다. 두번째로는 평균 페이지 수와 평균 레퍼런스 수를 통제하였고 새로 발견된 현상이나 정립된 개념이 영향을 주었을 경우를 통제하기 위해서 제목에 사용된 단어의 평균 나이를 분석에 추가하였습니다. 

  그렇다면 반대로 어떠한 현상이 실체가 없는 것으로 밝혀지거나 특정 개념이 폐기되고, 이것이 반박과정을 충분히 거쳐 더이상 인용되지 않는 것이 분석결과에 영향을 미칠 수도 있을 것 같다는 의문이 들었습니다. 이것이 사실상 의미 없는것인지 아니면 다른 통제에서 반영된 것인지 이야기 나누어보고 싶습니다.


WR
1
2019-11-06 22:04:59

인용이 최근으로 변화하는 추세가 과거의 개념이 반박되거나 폐기되는 과정과 연결되는지는 흥미로운 주제네요. Evans의 fixed effect 모형이 이런 문제를 어느 정도는 통제해줄 것 같은데 완벽히는 모르겠네요. 

그런데 적어도 이런 식의 반박, 폐기는 "최근"에는 꽤 관찰되기도 합니다. 논문수가 늘어나고 재현(replicate)이 중요해지면서 최근의 주목할만한 발견에 대해 집중해서 인용, 재현하면서 반박되고 폐기가 빨리되는 경우도 있습니다. 
1
Updated at 2019-11-06 18:15:32

본 논문에서 분석한 결과를 보면, Issue Depth가 커질수록 Cite DepthArticles Cited가 줄어들어 오래된 논문과 저널을 온라인에서 손쉽게 이용할 수 있음에도 최신 연구를 인용하는 경향과 인용되는 논문 및 저널의 다양성도 감소한 경향을 보였으며, 일부 논문에 대한 집중 인용도도 올라간 것으로 밝혀졌는데요

 

직관적으로 추측하더라도 예상되는 결과가 아닌가라는 생각이 들었습니다.

 

오래된 논문의 경우, 새로운 이론이나 학설을 정립한 권위 있는 논문이 아니고서야 후속 논문들에 의해서 인용가치가 떨어질 수밖에 없으며,

 

연구 주제와 관련하여 최근 논문의 인용도가 높아질 수밖에 없는 이유는 최근 논문일수록 관련 주제의 과거 논문의 부족한 점을 보완하여 작성되었을 개연성이 높기 때문에 논문의 완성도가 높아짐에 따른 자연스러운 현상이라는 생각이 들었습니다.

 

결국 논문 및 저널의 다양성 감소와 일부 논문 인용도 증가의 경우에도 연구자들이 논문의 양보다는 질을 선택하여 레퍼런스로 활용할 수밖에 없다는 사실을 반증해준 것 같습니다.

 

다만 다양성 감소측면에서는 논문의 온라인 게시로 인한 접근성과 편의성 제고가 저자가 밝힌 완벽하지 않은 색인능력의 맥락에서 영향을 미칠수도 있었겠다라는 생각도 해보았습니다.


WR
1
2019-11-06 22:08:03

사실 지적하신 것처럼 직관적으로 당연한 측면도 있습니다. 더구나 현재는 그렇죠.

그런데 이 논문이 나온 2008년만해도 online archiving을 과거로 늘려가던 시절이라, 이런식의 narrowing 효과가 더 당혹스러웠을 것 같습니다.
더구나 나름 이런 흐름을 시간 더미로 통제했는데도 관찰된 결과이기에, 더 의미있는 결과라 할 수 있구요.
1
2019-11-06 18:20:57

개인적으로는 수업시간에 왕왕 말씀해주셨듯이, 실제 논문이 담지하고 있는 quality에 비해서 특정 저자의 '성공(인용지수)'가 의도하지 않고 알 수도 없게 '증폭'이 되고 있는 현상을 잘 경험적으로 보여준 논문이라고 생각이 듭니다. 일종의 cascade 현상이 public들이 쉽게 쏠리거나 반응해서만 나타는 것이 아니라, 오히려 peer-review다 학문적 공동체다 하면서 굉장히 '엄격한 영역'인듯 한 학술적 장에서도 마찬가지로 나타나고 있다는 점도 재미있었구요. 


논문의 논의를 따라가면, 오프라인에서 온라인으로의 이동이 얼핏 생각들기에는 더 열리고 quality 중심의 경쟁 base 인 domain으로의 이행같지만, 온라인 환경에서는 오프라인 환경에서의 poor indexing에 따른 우연한 마주침(serendipity)의 기회가 줄어들고, 결과적으로 그 플랫폼의 변화만으로도 모종의 의도치 않은 집중(불평등)을 만들어 있는데, 바로 이러한 까닭에 이러한 집중은 더더욱 개입하거나 해소하기가 힘들것 같다는 생각이 들었습니다. 그래서 만약 이러한 집중이 의도하지 않은 외부불경제를 만들어낼 수 있다면, 그러한 집중을 해소할 수 있는 adversarial learning을 적용해봐도 좋을것 같다는 생각이 들었습니다. 물론 그런 것을 scopus나 그런 사이트들에서 해줄지는 모르겠지만요 (네이버나 다음에서 특정 영역에서 댓글창이나 실시간검색창을 없앤다는 논의가 나오는 것을 보면, 사실 불가능할 것 같지도 않네요)

다만 한 가지 의문점은, '더 최근의, 더 적은 수'에 집중되어 인용이 일어나고 있는 현상이 크게 보면 scientific consensus라고 볼수도 있겠지만, 어떠한 측면에서도는 꼭 그런건 아니라고 생각했습니다. 논문에서 측정한 인용에서는 인용의 수가 주로 사용되었지, '왜 그 논문을 인용했는지'는 모르니까요. 예컨대 사회학에서 종종 신고전주의 경제학 논의를 인용하면서 막말로 "얘네들은 글러먹었다!"는 식으로 인용을 하는데, 이때 논문의 주장처럼 분명 인용지수는 특정 논문과 저자/저널에 쏠리는 것은 사실이지만, 그렇다고 그만큼 학문적 합의로 수렴하고 있는 것을 의미하는 것은 아니라는 생각이 들었어요. (물론 논문에서 scientific consensus를 사용한 의미가 단순히 수적인 집중을 뜻한 것이고 질적인 수렴까지 말한 것은 아닐 수도 있다는 생각도 드네요! 그리고 수적인 집중이 결국은 질적인 수렴으로 이어질 수도 있겠구요)
WR
1
2019-11-06 22:13:57

1. 지적하신 방식의 "adversarial learning"은 꽤 필요할 것 같습니다. 숨어있는 보석같은 논문을 찾아주면 좋죠. (다들 내 논문이 그런 논문이라 생각할 듯)

아래 지연의 코멘트 중 유튜브의 후보 생생 네트워크랑 관련되는 것 같은데 수업시간에 더 얘기해줘요.
2. 말씀하신 것처럼 consensus가 아닌 비판적 인용 때문에 최근의 적은 수 논문이 인용된다면, 이러한 비판적 인용의 비중이 꽤 되어야 할 것 같고, 그러한 집중공격을 받는 논문도 아마도 꽤 영향력이 있는 연구일 것 같네요. 결국 점점 진영(?)간 적대적 인용이 증기한다는 뜻일수도 있는데, 역시 좀 더 토의해봐요.
1
2019-11-06 21:02:21

책 또는 인쇄물로 논문을 읽었던 과거와 달리, 오늘 날의 연구 환경은 논문을 DB(데이터베이스)화 함으로써 크게 변했습니다. 오늘날 논문을 검색하고, 참조하는 행위는 온라인이라는 사회적 장에서 이루어집니다. ”Electronic Publication and the Narrowing of Science and Scholarship 은 온라인으로의 연구 환경의 변화가 학계의 지식 생산에 어떤 영향을 끼쳤는가를 실증적으로 분석한 연구입니다. 말씀대로 데이터 사이언스 시대의 지식사회학 연구라 이해했습니다.


1.     온라인 환경의 특징 -집중화, 극화, 불균등
 
연구 결과 중 한가지는 더욱 더 많은 수, 오래된 논문과 저널이 온라인으로 인해 접근성이 향상되었음에도 불구하고 연구자들이 적은 수, 최근의 연구를 집중적으로 인용하는 경향이 있다는 것입니다. 그런데 인용수로 quality를 측정하는 방식 자체의 결과가 결국 집중화, 양극화이지 않을까 생각이 듭니다. 연구의 함의가 온라인에서의 학계 지식 생산으로 살펴본 온라인 환경의 특성이라 느끼는 부분입니다.
 
예를 들자면 웹환경에서의 학술지 인용 방식을 차용한 구글의 페이지랭크를 들 수 있는데 The Anatomy of a Large-Scale Hypertextual Web Search Engine에서 세르게이 브린과 래리 페이지는 이렇게 말합니다.

 “Academic citation literature has been applied to the web, largely by counting citations or backlinks to a given page. This gives some approximation of a page’s importance or quality.  PageRank extends this idea by not counting links from all pages equally, and by normalizing by the number of links on a page.” 
     구글의 검색 엔진의 품질을 향상시키기 위한 페이지랭크 알고리즘은 웹 페이지 사이의 연결 관계를 통해 특정 웹의 quality를 측정합니다. 알고리즘의 의도 자체도 quality가 낮은 링크를 가리기 위함이며 기존에 영향력이 높은 페이지가 인용한 링크일수록 페이지랭크(quality)가 더 올라갑니다

 2. 완벽하지 않은 오프라인 환경의 특징 -우연성(contingency)
     저자는 결론에서 오프라인에서 인쇄물 형태의 논문이 갖는 poor indexing이 우연성(contingency)을 만들기 때문에 의외의 효과, the strength of poor indexing이 있다고 주장합니다. 관련성이 높지 않은 분야로도 이끌고, 과거의 연구를 보게도 만드는 strength가 있다는 것입니다
 온라인 환경에서 우연성(알고리즘의 결과에 의한 것이므로 엄밀하게 아닐 수 있지만 사용자가 선택-결정하는 시점보다 한발 앞서 제시한다는 점에서)을 의도적으로 만든 예시로 유튜브 추천 알고리즘 중 후보 생성 네트워크알고리즘을 들 수 있을 것 같습니다. 페이지랭크와 같은 논리의 알고리즘 만으로는 컨텐츠의 집중화로 인해 재미없어질 것이고 유튜브 플랫폼에 머무르는 시간을 늘릴 수가 없기 때문에 사용자로 하여금 우연히 내가 재밌어할만한 동영상을 추천해야 합니다


WR
1
2019-11-06 22:16:31

1. 구글이 페이지랭크에 학술적 인용을 도입했을 당시만 해도 이렇게 인용의 narrowing이 심하진 않았을 겁니다. 그런데 구글이 이 아이디어로 검색을 하고 영향력을 발휘하면서 인용과 검색 모두 자기강화가 심해진 건 아닐까 싶어요.

2. 흥미로운 예인데 유튜브의 후보생성 네트워크에 대해 수업시간에 더 얘기해봐요.
1
Updated at 2019-11-06 22:24:24

온라인 접근이 가능한 시대에서 학자들은 더 최신의 논문을 인용하는 경향이 있고, 더 많은 논문에 접근할 수 있지만 소수의 논문이 인용되는 경향이 있다는 것은 매우 놀라운 점인 것 같습니다. Evans의 연구는 무료로 사용 가능한 저널과 commercial 한 저널을 나누어 결과를 보여주는데, 이 두 경우 모두 전반적으로 비슷한 경향을 보여줍니다.


하지만 이러한 경향이 commercial 저널에서 더 강하게 나타나는 점, B의 세 번째 그래프(인용된 subfield 저널의 수)에서만 무료 저널이 더 높게 나타나는 점, C의 첫 번째 그래프(Herfindahl citation concentration)에서 무료 저널의 concentration negative 경향을 보이는 것에 이유에 대해서 가능한 설명이 무엇이 있을지 궁금합니다.

WR
1
2019-11-06 22:46:53

사회과학은 무료 접근 저널이 보통 지위가 상업 저널보다 낮은데, 이 분석에서 쓰인 과학저널들은 어떨지 확실히 모르겠네요. 

하여간 두 저널 그룹간 성격의 차이에 기인하는 것 같습니다. 
1
2019-11-07 00:45:20
저자의 주장 자체가 새로운 내용은 아니지만 그 근거들이 통계적으로 단단하게 제시된다는 점에서 매우 강력하다는 느낌을 받았습니다. 특히 단순히 학계의 경향만을 나타내는 것이 아니라 회귀모델을 통하여 변수 간의 수치적 상관관계를 제시한다는 점에서 구체성이 높습니다.
다만 자세한 방법론과 모델들은 사실 이해하기 저로서는 어려웠습니다. 예를들어 negative binomial과 같은 분포, 모델들이 저자의 주장을 어떤 방식으로 지지하는지 수업시간에 더 자세하게 배우고 싶습니다.

정보학 수업에서 학자들의 정보요구와 탐색에 대해 배운 적이 있는데, 정도의 차이는 있지만 학자들이 많이 의존하는 정보가 저널에 개제된 정보들이 아니라 아직 발표되지 않은 grey literature(회색문건)이라고 합니다. 왜냐하면 연구들은 진행되고 있는데 논문이 완성되고 제출되어도 저널에 실리기까지 생각보다 오랜기간이 걸리기 때문입니다. 심지어 몇년이 걸린다고도 들었습니다. 또한 문서나 정리된 정보가 아니더라도 많은 학자들이 비공식적 상호작용을 통해 중요한 정보와 인사이트를 얻는다고 합니다. 이런 경향과 인터넷 보급의 증가와의 관계도 연구할 수 있으면 이 저자가 얘기하는 주제를 더 정확하게 파악할 수 있을 거라고 생각합니다.
심지어 비공식적 루트는 저자가 연구한 공식적 citation과는 다를 수도 있습니다. 94년정도를 기점으로 인터넷이 보급되고 우리의 정보환경이 변한 것과 마찬가지로 학자들도 이메일부터 시작해서 블로그 SNS 그리고 유튜브같은 정보활용 방식에 영향을 받았고 특정 주제를 연구하는 전 세계 학자들의 consensus를 converge하거나 이슈를 제기하는 기능을 했지 않을까 생각합니다.

두번째로는 학문 간에 경향이 다를 수 있다고 생각합니다.

같은 자연과학 내에서도 정보탐색 방식과 논문접근 방식이 상이함을 알 수 있습니다. Evans가 학계 전체의 경향을 보여준다면, 학계 간 차이를 보임으로써 인용양상 변화의 방향성뿐만 아니라 그 강도의 원인도 알 수 있을 것이라고 기대합니다. 저자가 최신주제에 의한 영향을 통제한 것으로 이해하기는 했지만, 그보다도 항상 고전에 의존할 수 밖에 없는 철학 분야에서도 이 논문에서와 같은 변화를 보인다면 저자 주장의 강력한 근거가 될 것입니다.

제 의문은 앞으로 어떻게 될 것인가 입니다. 저자의 주장대로 인터넷에서 논문들에 대한 접근성이 높아질 때 마다 인용되는 논문들이 더 최신의 것이 되고 인용되는 논문 수가 줄어든다면, 그 수렴은 어디인가 궁금합니다. 그리고 저자의 주장대로 인용에 있어서 집중도가 높아지는 것이 consensus 형성을 도모하는 한편 주목받지 못한 내용을 빠르게 잊혀지게 하는 것이 문제라면 그 해결을 위해 유튜브같은 추천알고리즘을 적용하는 것은 어떨까 궁금합니다. 물론 대부분의 학자들의 리서치 능력이 발달했겠지만 개인적으로 어떤 논문을 검색했을 때 옆에 같이 나온 비슷한 주제라든지 추천논문, 이 논문을 찾은 사람들이 본 논문 등에서도 좋은 내용들을 찾은 것 같습니다. 유튜브에서는 매주 매월 새로운 스타들이 생겨납니다. 유튜브는 예전부터 특정 유튜버만 시청자를 독점하는 것을 원하지 않았습니다. 초기 유튜브 이넡페이스에서는 조회수가 5 이하인 최신의 유명하지 않은 영상들이 나열되곤 했습니다. 지금은 그렇지는 않지만 좀 더 발전된 방식으로 새로운 스타들이 생기는 것 같습니다. 이처럼 이를 해결해야 하는가?와 더불어 어떻게 해결하면 좋은가도 수업에서 얘기해 봤으면 좋겠습니다.
1
Updated at 2019-11-07 01:36:28

저자는 연구자들이 온라인으로 논문을 검색하게되면서, 연구에 인용되는 논문이 더욱 최근 연구가 되어가고, 적은 논문에 편중되는 경향을 확인했습니다. 사실 연구가 결과적으로 지적하는 내용 자체가 놀랍다기보다도 정말 하나의 분석을 위해서 치밀하게 설계하고 아주 세부적으로 데이터를 살펴보는 과정 자체가 매우 인상깊었습니다.

 

전반적으로 저자는 온라인으로 논문을 검색하고 접하면서 나타나는 이런 양상에 부정적인 입장에 가깝다고 느꼈습니다. 하지만 최근의 연구를 인용하고, 몇몇 주목받는 연구들을 집중적으로 인용하는 양상이 반드시 부정적인지는 모르겠습니다. 이론적 논의 자체를 가급적 최근의 맥락에서 폭을 좁혀서 논의하는 것이 어떤 경우에는 긍정적인 면이라고도 생각했습니다. 아울러 온라인으로 논문을 저장하고 접할수있게 됨과 동시에, 인터넷의 넓은 보급으로 단순히 논문의 내용을 접하는 일 뿐만아니라 학계 전반의 상황에 대한 파악과 다른 학자들과의 네트워킹이 이전에 비해 수월해진 점이 이런 논문 인용 depth 단축과 몇몇 논문에 편중되는 현상에 영향을 함께 미치진 않았을까 하는 생각도 했습니다.

1
2019-11-07 09:23:04

1. Subfield를 여러 수준으로 정의한 뒤, 분석을 다시해보면 어떤 결과가 나올지 궁금합니다. 사회학/심리학/정치학 등 넓은 수준에서 subfield를 정의할 때와, 의료사회학/지식정보사회학/젠더사회학 등 좁은 수준에서 subfield를 정의했을 때 결과가 다를까요?
만약 넓은 수준 (학문 간)과 좁은 수준 (학문 분과 간) 모두에서 subfield 내로 인용 범위가 좁혀진다면, narrowing 가설을 더 일반화할 수 있을 것 같습니다. 그렇지 않아도 재미있을 것 같구요 (특정 수준에서는 학제 간 융합이 더 강화되었다던가)

2. 어느 학문 영역에서 citation depth가 가장 크게 줄어들었을까요? 개인적으로, 자연과학은 더 이상 뉴턴을 인용하지 않은지 오래되었지만 (아닌가요?), 사회과학은 여전히 빈번히 뒤르켐, 베버를 인용하는걸 보면 자연과학에서 크게 줄었을 것 같기도 하구요.

3. citation depth가 줄어드는건 오히려 과학의 발전을 나타내는게 아닐까요. (과거에 출판된 법칙들이 굳이 인용하지 않더라도 사실로 믿어질 정도로 과학이 발전했다면, citation dpeth는 당연히 줄어들 것 같아요.)

1
2019-11-07 09:30:54

제가 개인적으로 지난 20년 간 한 학회에 발표된 논문들의 변화 추세를 볼 일이 생겼는데, 여기서는 인용 수를 보지는 않았지만 어떤 연구방법론을 썼는지를 봤었습니다. 여기에서, 과거에는 통계 프로그램 및 방법론이 다양하게 발전하지 않아서 회귀분석을 하더라도 다 사람이 직접 계산하는 등 '수작업 통계'를 연구에 사용했다는 것을 알고 적잖은 충격을 받았었습니다. 저희는 지금 온라인을 통해서 통계 패키지를 쉽게 다운받을 수 있을 뿐 아니라 연구 방법론까지 쉽게 공유하고 있습니다. 이러한 변화의 양상이 논문들이 온라인 중심으로 옮겨가며 일어나는 변화(상대적으로 최근의, 소수의 논문만 인용되는)를 어느정도 설명할 수 있지 않나 합니다. 방법론이 그만큼 다양해지고 그로 인해 할 수 있는 연구도 다양해져서, 새로운 연구 주제들도 많이 생겨나기 때문에 최근에 행해지고 자신의 연구 주제에 맞는 연구들을 인용하는 것이 당연할지도 모른다는 생각이 들었습니다. (하지만 이 논문이 발표된 시점으로 봐서 이러한 변화의 추세를 단박에 읽어냈다는 것이 대단했습니다.)

1
Updated at 2019-11-07 09:43:58

Electronic Publication and the Narrowing of Science and Scholarship”은 What is the effect of online availability of journal issues? (on doing Science)라는 연구질문에 답합니다. 


학위논문에 대해 고민하면서 연구디자인은 어떻게 하는 걸까 하는 질문이 계속 있는데... 큰 논문들이 되는 것들은 기존 통념에 대해 합리적이고 타당한 방식으로 패러다임전환 식의 문제제기를 하는 논문들인 것 같습니다.  이 글 또한 학술저널의 온라인화를 촉진하는 움직임에 암묵적으로 전제되었던 "the tone". 즉, 온라인화를 통해 우리의 학문지형은 더 넓어지고, 다양해지고, 더 좋아질 것이라는 기대 혹은 믿음을 뒤집는 연구결과를 보여줍니다. 특히, 자료에 대한 접근가능성이 높아지는 것과 따라서 실제 사용자들이 자료의 '이용'실천이 다양해지는 것은 별개 단계의 현상이라는 점을 짚어냈습니다. 생각보다 패널 분석, OLS 등 최종 분석식 자체는 아주 복잡한 방법을 사용하지 않았고, 아이디어의 핵심, 연구의 독창성이나 훌륭함은 어떤 요소를 주요변수로 설정하고, 그 변수를 어떻게 '조작화' 했는지에서 발휘되는 것 같습니다. 저널이 온라인화된 시기, 기간 과 인용지수라는 변수로 간결하지만 깊이 있게, 온라인화가 지속될 수록, 더 (오래된 저작들보다는) 최근 논문들이 참조되고, 더 적은 논문이 집중적으로 인용된다는 점을 밝혀냅니다.


연구결과의 함의와 관련하여 같이 논의해보고 싶은 질문은 이런 변화가 학문의 '국가'적 구분, '언어'적 구분과는 어떻게 관련될까?라는 점입니다. 광케이블이 대륙과 대양을 건너 깔리고, 다양한 저널들이 온라인아카이브화되면서, 검색을 통한 논문찾기든, 저널별로 훑어보는 작업이든 한국에서도 학교서버를 통하면 실시간으로 세계적인 (대부분 미국의) '주요' 저널들을 받아보고 연결될 수 있습니다. 국내라는 경계에서뿐 아니라, 더 많은, 더 최신의 논문들을 해외영어논문,저널들에 대해서까지도 '트렌드'를 따라가야 한다는 규범이 생기고, 트렌드가 변화하는 속도가 더 빨라지지 않았을까합니다. '미국학문'의 범람, 지배 등의 문제제기가 나오게 된 메커니즘의 하나에 온라인화가 있을 것 같습니다. 그러나 또 한편으로는 K-pop, K-drama 등이 미국 할리우드의 글로벌 미디어 시장에 잠식되지 않고 역수출하며 성공하고 있는 이유를 '언어'의 독자성에서 찾듯이... 여전히 한국어를 주로 사용하는 한국의 학계- 특히 인문계 학계-는 '영어권'에서 중요하게 여기는 것으로 각 분과의 초점들이 국가경계를 넘어 바로 수렴되지 않고, 한국에서 중요하게 여기는 것을 독자적으로 형성할 수 있지도 않을까요? 그 결과가 학문의 발전에 주는 함의는 무엇일까요? 함께 논의해보면 좋을 것 같습니다. 


또한 온라인화를 통해 전문가들이 무엇이 가장 중요한 선행연구인지에 대한 갈수록 더 빠른 합의에 도달하게 한다는 점은 결과적으로 학문에서도 마치 미디어 시장에서의 경쟁처럼 'attention'을 확보하는 것이 보다 더 중요한 과제가 되는 흐름으로 이어지지 않을까라는 궁금증도 들었습니다. 다른 사람에 의해 많이 citation 된 것은 "더 좋은 퀄리티를 가진 신호"로 여기고 더 citation을 많이 하게되는 효과가 있는데, 전산화, 온라인화를 통해 이 인용횟수의 합산이 가능해져 정확한 인용'수'가 가시화 되었고, 따라서 일렬로 줄세우기가 가능해졌다는 게 온라인화의 사실상 가장 큰 특징이라고 할 수 있을 것 같습니다. 이전에는 지금 무엇이 '가장 중요하게 다뤄지고 있다'는 것은 무형의, 만질 수 없는 집합적인 평판, 혹은 각 'school'단위로 경계지어졌다면, 지금은 구글 스콜라에서 인용수로 정렬되고, 구글검색에서 상단에 노출되는 것이 (온라인에서) 'prevailing'하다고 여겨지게 된 것입니다.  (us news가 대학 랭킹을 매긴 것이 체계적인 차별효과를 낳았던 것과도 연관지어 생각해볼 수 있겠습니다.) 그러나 구글검색 SEO를 타겟하는 일련의 규칙들이 존재하는 것처럼 사실은 이런 '현저함'이 포털회사, 각 저널의 정책 등 일종의 알고리즘, 제도에 의해 구성된 것이라는 점을 계속해서 인식하고 살기는 쉽지 않습니다. 거기에 더해 그나마 온라인 환경에서라도 무언가 '다른', '새로운' 것을 우연히 맞닥뜨릴 수 있는 저널별로 'browse'하는 실천도 점점 사라지면서 집중화 현상은 더 심해질 것 같습니다. 저널 홈페이지 내에서도 각 저널 내에서 가장 인용이 높은 순으로 논문 정렬이 가능하고, 'Most Read' 카테고리를 제공하며, 논문에서도 나오듯, 'search'기능이 더 인터페이스에서 중요해지고 있습니다. 학문이 다른 일들에 비해서는 각 개별 연구자들의 'intrinsic'한 흥미와 관심사를 실현하는 영역이라는 인식도 있지만 이 세계에서도 떠오르는 스타덤과 스러지는 옛이야기라는 인기도의 차이에 따라 매력, 향후 가능성은 달라집니다. 인기있는 것, 가장 중요한 것이 명확하고 편리하게 눈에 보일 때, 선택의 쏠림은 더 쉬워지고 빨라집니다. 결국 일전 수업시간에 교수님께서 언급하셨듯 일정 수준이상의 quality를 논문에서 달성할 수 있어야 하지만 그만큼이나, 혹은 어쩌면 그 이상으로 온라인 메커니즘상에서 자신이 제기하는 문제가 '중요한' 것으로 계속 다루어질 수 있게, 이것이 중요하다는 합의가 이뤄질 수 있도록 하는 능력이 별도로 요구되는 것같습니다. 학자들도 트위터, 블로그, 깃허브 등을 통해 '자기PR'을 하는 것이지요.  그러나 마지막으로는 그렇다고 해서 'consensus'라는 것이 온라인상에서 개별 연구자가 달성할 수 있는 것인가?라는 의문도 남습니다. 인용의 경우 '초기 매력'같이 초기단계에서는 아는 사람들, 그래서 더 신뢰하고 비슷한 사람들이 인용을 한다고 합니다. 온라인화의 시대에 이런 전통적인 의미의 '네트워킹', 전통적 자본이 가지는 역할은 무엇일까?라는 질문도 던져볼 수 있을 것 같습니다. 


결론적으로 지식사회학이 데이터사이언스적 방법론과 결합해 'Science of Science'라는 이름을 달면서, 문,이과를 아우르는 영역으로 인기를 얻는 이유가 뭔지 알 수 있었습니다. 이런 메타 분석이 학계 전반에 자기성찰적 통찰을 줌은 물론, 학문을 하는 '직업인'들에게 분과에 관계없이 일종의 '성공법칙'을 알려주는 셈이기도 하기 때문이지 않을까요?


1
Updated at 2019-11-11 19:27:10

교수님께서 올려주신 '데이터 사이언스 시대의 지식사회학은 어떻게 하는가?'라는 질문이 상당히 의미있게 다가왔습니다. 저에게 이 논문은 현재 지식 생산 방식에 디지털 매체가 어떻게 개입되어 어떤 영향을 낳고 있는가라는 의문을 품게 만들어 주었습니다. 우선 저는 이미 디지털 시대가 도래한 이후 제 연구를 시작했기 때문에 print material을 하나하나 찾아가며 논문을 인용하는 것은 상상도 못 해본 일이었고, 따라서 현재의 디지탈화된 방식은 제게 너무 당연한 것이었습니다. 그러니 이 '디지털화된 방식'이 나의 인용 방식이나 인용 논문을 특정 방향으로 이끌고 있다 (혹은 왜곡시키고 있다?)는 생각도 전혀 못 해보았던 거죠.

  제가 선행연구 분석할 때 어떤 방식으로 하는가 고민해보니, 온라인 데이터베이스에서 검색 후 키워드와의 관련도 순으로 정렬된 논문들을 위에서부터 읽고 인용하곤 했더군요. Salganik의 음악시장 불확실성 실험에서 리스트로 정렬된 세팅과 유사한 상황이었던 거죠. 그러니 저 또한 지금까지 상당히 core하고 많이 인용된 논문들을 주로 참고해왔다고 말할 수 있겠습니다. 한편 논문 한 편을 받을 때마다 대부분의 온라인 데이터베이스들이 그와 관련된 다른 논문들을 related material 같은 섹션으로 띄워주곤 하는데, 이 섹션에 논문 '검색'만큼 중요한 입지를 부여하는 것이 쏠림 현상을 완화하고 양질의 다양한 논문들을 접하게 하는 데 중요하겠다는 생각이 들었습니다. 이상적으로는 현재처럼 제가 받은 논문과 유사한 논조의 논문을 추천하는 것을 넘어 대립하는 입장이거나 보완하는 논문들까지 추천해주는 것이 중요할텐데, 이러한 알고리듬을 어떻게 만들지, 혹은 만드는 게 가능할지가 앞으로 흥미로운 주제가 될 것 같습니다.