네이버 웹문서검색을 고도화하는 그리핀(Griffin) 프로젝트

지난 3년여간 웹 상의 사이트 개수는 22% 이상 증가하였으며, 이에 따라 웹 페이지 개수도 급격히 늘어났습니다. 한글 웹문서도 과거에 비해 많이 늘어났지만, 단순히 수가 늘어났다고 해서 웹문서들의 품질도 함께 좋아졌다고 보기는 어려운 상황입니다.
 
모바일 환경에 최적화 되어있지 않은 페이지들, 검색이 잘 될만한 키워드를 나열하거나 반복해서 사용해 이용자에게 혼란을 주는 문서들, 무단으로 내용을 복사해 믿을 만한 정보를 제공하지 않는 문서 등 이용자들의 피드백이 좋지 않은 웹문서들도 많이 있기 때문입니다.

구조화된 데이터 (open graph, schema.org)를 사용하는 등 적극적으로 콘텐츠를 잘 정리한 웹문서들이 많아지면서, 이러한 새로운 형식의 웹문서들도 잘 수집할 수 있는 고도의 수집 기술, 그리고 이들을 검색결과에 잘 보여주는 것 (Rich UI)도 필요하게 되었습니다.

신화 속 그리핀 이미지 (출처: 위키피디아)
지금까지 이야기한 웹문서 환경의 변화들을 반영하기 위해 네이버는 ‘그리핀 (Griffin) 프로젝트’를 시작했습니다.

그리핀은 그리스 신화에 나오는 전설의 동물로, 사자의 몸통에 독수리의 머리, 날개, 앞발을 가졌고, 산에서 금은보석을 찾아내 보금자리를 만드는 일에 열중합니다. 그리핀처럼 개편된 웹문서검색도 이용자에게 도움이 될 만한 유용한 피처를 찾는 것에 열중하고자 하는 기술적 지향점을 가지고 있습니다.

그리핀 프로젝트 이전에도 네이버는 신뢰할만한 웹문서검색 환경을 만들기 위해 꾸준히 노력해 왔는데요, 이러한 노력과 관련해서는 지난 포스팅에서도 다룬 바 있습니다.

네이버 웹문서검색 이야기 포스팅 보기>

그리핀 프로젝트는 AI등 최신기술들을 활용해 웹문서검색을 보다 고도화하는 한편, 이용자가 웹문서검색을 통해 공신력있는 정보에 보다 신속하고 정확하게 접근할 수 있도록 하는 것을 목표로 진행되고 있습니다. 
 
그러기 위해서는 1) 좋은 웹문서를 잘 가져오고 (수집 시스템 개선), 2) 이용자 피드백이 좋지 않은 문서들에 대응하는 한편 (스팸 시스템 개선), 3) 이용자들이 좋은 웹문서를 판단하는 가치가 반영된 랭킹 시스템을 만들어야 (검색 랭킹 개선) 하는데요.
그래서 그리핀 프로젝트는 이 세 가지 측면에서 웹문서검색을 개선하고 있습니다