구글 크롤링 - 정확하고 빠르게 원하는 정보를 검색하기 위한 기술

Photo by Maksym Kaharlytskyi on Unsplash

 

많은 컴퓨터에는 많은 자료들이 분산되어 있고 이 자료들을 모아서 빨리 찾을 수 있도록 정리하는 기술을 크롤링이라고 하며, 크롤링을 위해 만들어진 프로그램을 크롤러라고 합니다. 이런 크롤링은 검색을 필요로 하는 검색포탈사이트나 일반적으로 우리가 사용하는 프로그램 등 우리가 사용하는 거의 모든 곳에 사용되고 있습니다.

 

인터넷 공간은 한없이 넓어지고 데이터도 계속 많아지고 있으니 이런 크롤링은 필수가 되었는데요. 구글도 웹크롤러라는 소프트웨어를 사용하여 공개된 웹데이지를 발견하고 정리합니다. 구글이 아무리 큰 회사라고 해도 모든 내용을 서버에 저장할 수는 없으니 검색결과에서 보여줄 수 있는데 필요한 내용만을 색인에 포함을 합니다. 

 

 

유용성, 관련성

검색결과를 보면서 내가 원하는 정보가 안 나온다고 생각하는 적이 많지만 구글이나 네이버에서는 원하는 정보를 보여주기 위한 알고리즘이 만들어져 있습니다. 구글도 랭킹시스템을 통해서 유용하면서도 관련성 높은 검색결과를 보여주기 위해 노력하고 있습니다. 

 

그래서 내가 작성한 글들이 검색결과에 나오기 위해서는 구글에서 만들어놓은 알고리즘에서 유용하며 관련성이 높은 정보라고 인정받아야 되는 겁니다. 

 

• 단어분석
• 웹페이지 관련성
• 콘텐츠 품질
• 웹페이지의 활용도
• 문맥 고려

 

 

단어

틀린 철자는 수정하는 것만 아니라 동의어까지 분석해서 사용자가 바라는 검색결과를 보여주고 있습니다. 

 

문맥

지역에 따라서 단어가 포함한 의미가 다르기 때문에 지역에 따라 검색결과가 다릅니다. 그리고 사용자가 최근에 검색한 검색어를 단서로 하여 현재 검색결과를 도출합니다. 

 

웹페이지 관련성

검색어와 일치하는 정보가 포함된 웹페이지를 검색합니다. 본문과 제목에 검색어가 표시되는 경우에는 관련성이 있을 가능성이 높다고 판단하겠죠. 의미 없이 단순하게 검색어를 반복하고 있는 글은 제외합니다. 검색어가 원하는 검색결과를 찾기 위해서 사진, 동영상, 또는 관련 콘텐츠 등 분석합니다. 

 

콘텐츠의 품질

콘텐츠의 품질을 판단하는 건 단기간에 이루어지지 않습니다. 콘텐츠의 최신성, 검색어의 등장 빈도, 페이지의 우수한 사용자 환경 제공 여부 등 수백 개의 요인을 분석합니다. 같은 주제를 다루는 웹사이트에서 해당 페이지로의 링크가 만들어지면 정보의 품질이 우수하다고 판단합니다. 

 

웹페이지의 활용도

크롬, 엣지, 웨일 등의 다양한 브라우저에서 제대로 표시가 되는지, 다양한 기기 유형과 크기에 맞게 설계되었는 지, 페이지가 빠르게 열리는지 등이 고려됩니다. 

 

 

구글 검색에 노출되기 위해서는 내용의 품질과 관련성이 중요한 건 기본적인 내용입니다. 거기에 더해서 다양한 기기, 다양한 브라우저에 빠르게 열리고 문제없이 보여줘야 합니다. 요즘에는 기기나 브라우저가 다르다고 해도 표시가 되지 않는 경우가 없기 때문에 문제가 안되지만 빠르게 열리는 건 또 다른 문제입니다. 많은 이미지가 있거나 이미지의 용량이 높다면 느리게 열리기 때문에 구글 검색결과에서 뒤로 밀릴 수 있습니다.