Searcha Page DIY検索エンジンはGoogleの早期ストレージに匹敵します

1998年、Googleは当初Backrubという名前の検索エンジンを立ち上げ、40 GBのデータを備えたスタンフォードキャンパスサーバーで操作し、Duploブロックで作られたケースに収容されました。 2025年の時点で、Googleの検索機能には複数のデータセンターが必要です。 Ryan Pearceは、Seech ninjaという名前のプライバシー中心のバージョンを含むSearchaページと呼ばれるDIY検索エンジンを作成しました。ピアースは、「今、ランドリールームでは、2000年にGoogleよりも多くのストレージがあります。それは非常に非常識です。」サーバーは最初はピアスの寝室にありましたが、熱が過度になったためユーティリティルームに移動しました。 「熱は絶対にひどいものではありませんでしたが、ドアが長すぎると閉じている場合、それは問題です」と彼は言います。 Searcha Pageの結果は改善されており、データベースには20億エントリが含まれており、6か月以内に40億に達すると予想されています。それに比べて、Googleは1998年に2,400万ページ、2020年までに4,000億ページを獲得しました。 Pearce’s Engineは、キーワードの拡張とコンテキストの理解のために大規模な言語モデルを使用しています。 「私がしていることは、実際には非常に伝統的な検索です」とピアースは言います。 「これはおそらく20年前にGoogleが行ったことです。ただし、唯一の微調整はAIを使用してキーワード拡張を行い、コンテキストの理解を支援することです。これは難しいことです。」 AIは、2019年にリバースイメージ検索、GoogleのRankbrain、Bingの90％ML駆動型の結果などのツールなど、検索エンジンの重要な部分となっています。AIは、検索エンジンを効率的に構築および拡張する方法と見なされています。 Pearceは、「アップグレードアービトラージ」を利用して、古いが強力なサーバーハードウェアを購入しています。彼の32コアAMD EPYC 7532 CPUは、2020年に3,000ドル以上の費用がかかり、現在はeBayで200ドル未満です。 「私は同じ価格で別のチップを得ることができたかもしれません。システム全体の費用は5,000ドルで、ストレージに3,000ドルが費やされました。 Pearceのコードベースは約150,000行のコードで、推定500,000行の反復作業があります。 SearchaページとNinjaを求めるSambanovaを使用して、Llama 3モデルに低コストで迅速にアクセスできます。 SambanovaのCMOであるAnnie Shea Weckesserは、低コストのモデルへのアクセスがPearceのようなソロ開発者にとってますます不可欠になっていると指摘しており、「自宅のセットアップや生産で運営しているかどうかにかかわらず、強力なAIモデルを迅速かつ手頃な価格で実行するためのツールを開発者に提供している」と付け加えています。ピアースは、一般的なクロールリポジトリを使用してクローラーを構築します。 「本当に感謝しています。何かを返したいと思っていますが、多分私が大きくなったら」と彼は言います。ベクトルデータベースを使用する最初の試みは失敗し、「非常に芸術的な」結果になりました。 Pearceは現在、LLMで生成されたページの要約を使用しています。別のDIY検索エンジン開発者であるWilson Linは、Corennと呼ばれる自己作成のベクター検索ツールを使用し、9つの個別のクラウドサービスに依存してコストを抑えます。 「それははるかに安いです [Amazon Web Services]- かなりの金額」とリンは言います。ピアスはもともと、マージンリアに似た小規模な検索エンジンを想定しており、中国の誰かが実際に私に手を差し伸べていた。 。 。彼は、彼のエージェントの検索のように、彼が彼のLLMに餌を与えたいと思っていた無修正の検索エンジンを望んでいたと思います。英語を超えて拡大するには新しいデータセットが必要です。Pearceは、交通が一定のしきい値に達し、アフィリエイトスタイルの広告を通じて控えめな収益を生み出すと、検索エンジンをコロケーション施設に移動する予定です。永遠に洗濯室。」 Fast Companyの最も革新的な企業賞の申請期限は、10月3日金曜日の午後11時59分です。

Source: Searcha Page DIY検索エンジンはGoogleの早期ストレージに匹敵します