칼럼

인터넷 크기 얼마나 될까?

doimoi 2008. 9. 16. 08:30

사용자 삽입 이미지
흔히 무한 한 숫자를 이야기 할 때 '천문학적인 숫자'라는 표현을 사용한다. 하지만, 조만간 '인터넷적인 숫자'라고 이야기 해야 할지도 모르겠다. 구글이 수집 한 인터넷 페이지가 1조 페이지를 돌파 했기 때문이다. 이는 은하수에 떠 있는 별보다 2배나 많은 숫자이다. 인터넷 페이지가 폭발적으로 늘어나고 있다. 하지만, 이것이 우리에게 더욱 더 많은 정보를 줄지 그렇지 않은지는 아무도 모른다.

일반적으로 구글과 같은 검색 사이트는 링크를 따라 다니며 새로운 문서를 수집한다. 수집 된 문서는 불필요한 부분을 제거 한 후 데이타베이스에 보관하고 있다가 사용자가 검색을 하면 자기들만의 수학적 공식을 이용 해 순서대로 보여 준다
.

90
년대 후반까지만 해도 검색 엔진들은 수집한 웹페이지 양을 가지고 치열하게 경쟁하며 신경전을 벌였다. 빠르게 인터넷 사이트를 돌아 다니며 더 많은 문서를 수집하는 것이 최고 경쟁력이라고 생각했기 때문이다. 수집 결과는 실제보다 크게 부풀려 공개하거나 반대로 전혀 공개를 하지 않았다. 지금처럼 제3의 기관에서 객관적인 데이타를 제공 하는 곳도 없어 미심적인 부분이 있어도 그냥 믿는 수 밖에 없었다. 특히, 당시 1위 검색 사이트였던 알타비스타가 이런 분위기를 조장했다. 알타비스타는 서버용 칩을 제조하던 DEC (
Digital Equipment Corporation) 에서 알파칩의 성능을 홍보하기 위해 만든 사이트였다. 당시만 해도 무한 해 보이던 인터넷 페이지를 빠르게 수집 한 후 검색 창에 검색 결과를 빠르게 보여 주는 것이 그들이 가진 서버 칩의 우수성을 홍보하는 길이라고 생각했기 때문이다. 홍보의 효과를 높이기 위해 알타비스타는 http://altavista.digital.com 라는 DEC 의 서브 도메인을 사용했다. ( 알타비스타 성공 이후 오랜 시간이 흐른 후 거액을 주고 도메인을 구입 했다)
사용자 삽입 이미지

하지만, 2000년도가 되자 인터넷이 대중화 되면서 급격하게 페이지가 늘어나자 이들 사이트는 당황하기 시작했다. 늘어 난 페이지로 효과적으로 다루지 못해 만족 할 만한 검색 결과를 보여 주지 못 했다. 이 때 혜성처럼 등장 해 스타로 떠오른 사이트가 구글이었다. 구글은 페이지랭크라는 기법을 사용 해 다른 사이트로부터 링크가 많으면 믿을 수 있는 사이트라고 생각 해 상단에 검색 결과를 보여 주었다. 이는 사용자에게 매우 큰 호응을 얻어 현재의 구글을 만들었다.

현재 인터넷의 폭발은 구글이 처음 설계 되면서 예측하던 규모를 벗어나고 있다. 구글 조차도 색인을 시작한지 불과 10년만에 1조 페이지가 넘은 것에 놀라워하고 있다. 최근에는 불필요한 문서를 모두 제거하고 순수 색인하는 페이지만 하루 70억 페이지가 된다고 한다. 90 년대 후반 알타비스타들이 몇 년간 모았던 페이지의 70배 이상의 페이지가 매일 같이 만들어지고 있으며 이 속도는 점점 빨라지고 있다.

하루가 다르게 늘어나는 인터넷 페이지를 언제까지 구글이 효과적으로 검색 할 수 있을지는 아무도 모른다. 이미 구글이 주력하는 분야는 검색 품질 향상 보다는 스팸과의 전쟁이다. 너무나 방대 해 진 규모 때문에 획기적인 검색 기법을 도입 할 가능성도 적다. 앞으로, 개인화 검색을 강화하거나 시멘틱웹 업체 중 가시적인 성과를 보이는 업체를 인수 해 해당 기술을 흡수 하는 정도 일 것이다
.

하지만, 구글이 어떤 노력을 하던 점차 빨라지는 인터넷의 폭발을 계속적으로 흡수하기는 힘들 것이다. 특히, 인터넷 세상을 오염시키는 스팸, 펌질, 불건전 한 정보들이 난무 하면 할 수록 90년대 후반 검색 엔진 무용론이 나온 것처럼 가까운 시기에 구글 무용론이 나올 수 도 있다. 검색이 쓸모가 없어진다는 뜻은 인터넷에서 아무 정보도 찾을 수 없다는 뜻이고 이는 정보가 하나도 없는 인터넷 세상과 다를 바 없다.


트위터 주소: http://twitter.com/doimoi