Google보다 더 나은 검색 엔진을 구축하는 방법

작성자: David Pierce, 일반 편집자이자 Vergecast 공동 진행자로서 소비자 기술 분야에서 10년 이상의 경험을 보유하고 있습니다. 이전에는 Protocol, The Wall Street Journal 및 Wired에서 근무했습니다.

Sridhar Ramaswamy는 다른 검색 엔진을 구축하기 위해 Google을 떠나지 않았습니다. 적어도 처음에는 그렇지 않았습니다. Google에서의 15년 재임 기간이 끝날 무렵 Ramaswamy는 회사의 전체 광고 부서를 운영하면서 10,000명 이상의 직원을 감독하고 있었습니다. 그는 검색을 잘 수행하는 데 얼마나 많은 노력이 필요한지 누구보다 잘 알고 있었습니다.

Google이 검색 분야에서 얼마나 지배적인지 아무리 강조해도 지나치지 않습니다. 대부분의 연구에 따르면 Google은 전 세계 검색 시장의 약 90%를 차지하고 있으며 그 수치는 20년 동안 꾸준히 증가해 왔습니다. Google은 거의 모든 브라우저, 거의 모든 기기의 기본 검색 엔진입니다. 우리는 인터넷을 검색하지 않습니다. 우리는 그것을 Google에 보냅니다. Bing과 Yahoo는 두 번째와 세 번째로 큰 플레이어입니다. 마지막으로 Bing이나 Yahoo를 사용한 때는 언제입니까? Google은 이러한 상태를 유지하기 위해 막대한 정치적, 엔지니어링, 재정적 자본을 투자했습니다.

그러나 Ramaswamy도 대부분의 사람들보다 더 잘 알고 있는 것은 Google이 검색 엔진에 대해 할 수 없거나 하지 않을 모든 일이었습니다. 수십억 명의 사용자와 수천억 달러를 보호해야 하는 상황에서 Google은 결과 페이지, 새로운 비즈니스 모델 또는 사용자의 검색을 줄이게 만드는 모든 종류의 제품에 대한 대대적인 변화를 모색할 가능성이 거의 없습니다. (Ramaswamy는 실제로 사람들이 일부 사이트에서 광고 없는 경험을 위해 비용을 지불할 수 있게 해주는 Google Contributor라는 기능을 테스트했습니다. 이 기능은 작동하지 않았습니다.) 여기에는 Google이 할 수 없거나 하지 않을 것을 만들 수 있는 기회가 있었습니다. 그래서 그가 2018년에 회사를 떠났을 때 Ramaswamy와 Google 및 YouTube의 오랜 임원이었던 Vivek Raghunathan은 미래의 검색 엔진을 구축하기 위해 Neeva라는 회사를 공동 설립했습니다.

올해 The Verge에서는 Google 검색이 웹을 로봇을 위한 공간으로 어떻게 재구성했는지, 그리고 AI의 출현이 Google 자체를 어떻게 위협하는지 탐구하고 있습니다.

길은 험난했지만 Neeva 팀은 ​​결국 그들이 자랑스러워할 만한 검색 엔진을 구축했습니다. 이 검색 엔진은 Neeva의 내부 지표와 사용자 연구 모두에서 Google을 거의 능가했습니다. 그것을 시도한 사람들은 그것을 좋아했고 Neeva는 검색을 더욱 향상시키는 방법에 대한 아이디어로 가득 찬 긴 로드맵을 가지고 있었습니다. 조금만 더 시간을 투자하면 검색의 미래를 구축할 수 있을 것입니다. 그러나 불과 4년 만에 Neeva는 문을 닫았습니다.

어떤 의미에서 Neeva의 존재가 잠깐 깜빡이는 것만으로도 지난 20년간의 검색 엔진 패권에 대해 알아야 할 모든 것을 알 수 있습니다. 검색 엔진을 구축하는 것은 어렵습니다. Google보다 나은 것을 구축하는 것은 훨씬 더 어렵습니다. 하지만 Google을 이기고 싶다면 더 나은 검색 엔진은 시작에 불과합니다. 그리고 거기에서 점점 더 어려워집니다.

검색 엔진은 엄청나게 복잡하면서도 매우 간단한 아이디어입니다.

실제로 모든 검색 엔진이 수행하는 작업은 "검색 색인"이라고 알려진 웹페이지 데이터베이스를 컴파일한 다음 사용자가 쿼리를 실행할 때마다 해당 데이터베이스를 살펴보고 해당 페이지에서 가장 관련성이 높은 집합을 제공하는 것입니다. 그게 전부입니다.

하지만 그 여정의 모든 작은 단계에는 중요하고 복잡한 절충이 필요한 엄청난 합병증이 있습니다. 대부분은 시간과 돈이라는 두 가지 문제로 귀결됩니다.

인터넷에 있는 헤아릴 수 없이 많은 수십억 페이지에 대한 지속적으로 업데이트되는 데이터베이스를 가상적으로 구축할 수 있다고 하더라도 스토리지 및 대역폭 비용만으로도 지구상의 거의 모든 회사가 파산할 수 있습니다. 그리고 이는 하루에 수백만 번 또는 수십억 번 해당 데이터베이스를 검색하는 비용도 계산하지 않은 것입니다. 매 밀리초가 중요하다는 사실을 추가하세요. Google은 여전히 ​​모든 쿼리가 결과 상단에 얼마나 오래 걸리는지 광고하고 있으며 어쨌든 전체 데이터베이스를 살펴볼 시간이 없습니다.

따라서 자신만의 검색 엔진을 구축하는 것은 놀랍도록 철학적인 질문, 즉 무엇이 웹페이지를 좋게 만드는가?부터 시작됩니다. 합리적인 불일치로 간주되는 것이 무엇인지, 잘못된 정보인지를 판단해야 합니다. 얼마나 많은 광고가 너무 많은 광고인지 파악해야 합니다. AI가 명확하게 작성하고 SEO 쓰레기로 가득 찬 사이트는 나쁩니다. 개인이 작성하고 SEO 쓰레기로 가득한 레시피 블로그: 대부분 괜찮습니다. 포르노? 때로는 괜찮을 때도 있고 그렇지 않을 때도 있습니다.