Google dominiert die Suche, und das ist eine unbestreitbare Tatsache. Googles Marktanteil liegt bei etwa 91%, was eine absolut beeindruckende Zahl ist. Dadurch wird Google praktisch zum Fenster ins Internet. Es gibt Alternativen, von denen wir gehört haben, wie Bing und DuckDuckGo, sowie lokale Alternativen wie Yandex und Baidu. Yandex ist in Russland und in russischsprachigen Ländern sowie in der Türkei beliebt, und Baidu ist das Google Chinas und kontrolliert die Suche in China.
Tatsächlich gibt es auch andere Alternativen wie Neeva und Kagi, die die Art und Weise, wie wir die Suche allgemein wahrnehmen, verändern möchten. Auch wenn Google wahrscheinlich für die meisten Menschen die Hauptquelle für Suchanfragen bleiben wird, gibt es viel zu besprechen.
Das erste Problem, dem sich jede alternative Suchmaschine gegenübersieht, ist die Ausreichendheit und Vollständigkeit der Informationen. Kurz gesagt, funktioniert jede Suchmaschine so, dass sie Webseiten analysiert und dann in der Suche einordnet. Dies erfordert jedoch viel Rechenleistung, um sicherzustellen, dass die Informationsmenge ausreichend ist, um die Suchergebnisse relevant zu machen.
Bing ist eine der Suchmaschinen, die über eine ausreichende Datenbank verfügt, um relevante Ergebnisse zu liefern. Daher ist Bing vielleicht eine der wenigen Suchmaschinen, die Ihnen genügend relevanten Inhalt bieten können. Ja, es handelt sich auch um ein großes Technologieunternehmen, aber es ist weit entfernt von einem Monopolisten im Suchbereich. Laut Statcounter macht Bing weltweit nur etwa 3% des Suchverkehrs aus und in Deutschland etwa 5%.
In einigen Aspekten hat Bing sogar Google übertroffen, insbesondere mit Bing Chat, einem Chatbot, der ähnlich wie ChatGPT funktioniert. Er ist besonders gut darin, den Kontext Ihrer Anfragen bei nachfolgenden Anfragen zu behalten, sodass Sie Ihre Suche verfeinern können, ohne alles erneut einzugeben. Dies ist praktischer, da Sie nicht jedes Mal dasselbe wiederholen müssen. Die Frage ist, wie sehr diese Funktionalität von den Nutzern gefragt ist. Nach der anfänglichen Welle des Interesses an KI-Sprachmodellen scheint es, dass der tatsächliche Nutzen dieser Funktion von Menschen, die immer noch traditionelle Suche und keinen Chatbot wollen, egal wie intelligent er ist, nicht geschätzt wurde.
Dennoch ist Bing eine der wenigen echten Alternativen zu Google, insbesondere für das, was hinter der Fassade steckt. Viele andere Suchmaschinen verlassen sich tatsächlich auf Bing-Daten, um Ihnen Suchanfragen zu liefern. Zum Beispiel macht das DuckDuckGo; tatsächlich ist es keine vollwertige Suchmaschine, sondern nur ein Add-On zur Bing-Suche, da die Suchmaschine neben der Suchschnittstelle selbst in erster Linie eine Datenbank ist, die aus einer riesigen Menge analysierter Daten zu verschiedenen Websites besteht.
Warum gibt es so wenige Alternativen?
Aber der Hauptknackpunkt ist, dass gerade die enorme Menge an Ressourcen, die für die Erstellung einer neuen Suchmaschine aufgewendet werden muss, Google praktisch konkurrenzlos macht. Die Situation ist so, dass ein Konkurrent einen riesigen Aufwand an Zeit, Geld und Rechenleistung investieren muss, nur um eine Datenbank von Websites zu erstellen, auch als Index bekannt. Aus dieser Perspektive betrachtet, ist eine Suchmaschine eine einfache Sache. Man benötigt eine solche Datenbank und jedes Mal, wenn jemand eine Suchanfrage eingibt, gehen die Algorithmen einfach zum Index und holen die Ergebnisse, die am besten den Parametern der Anfrage entsprechen.
Aber der Hauptknackpunkt ist, dass gerade die enorme Menge an Ressourcen, die für die Erstellung einer neuen Suchmaschine aufgewendet werden muss, Google praktisch konkurrenzlos macht. Die Situation ist so, dass ein Konkurrent einen riesigen Aufwand an Zeit, Geld und Rechenleistung investieren muss, nur um eine Datenbank von Websites zu erstellen, auch als Index bekannt. Aus dieser Perspektive betrachtet, ist eine Suchmaschine eine einfache Sache. Man benötigt eine solche Datenbank und jedes Mal, wenn jemand eine Suchanfrage eingibt, gehen die Algorithmen einfach zum Index und holen die Ergebnisse, die am besten den Parametern der Anfrage entsprechen.
Alles klingt einfach, bis man sich mit den Details befasst. Das heißt, man kann einen Katalog erstellen, Hunderte von Millionen und Milliarden von Websites scannen und sie zum Index hinzufügen. Allein diese Aktion erfordert enorme technische und Rechenkapazitäten, die kein Unternehmen, nicht einmal Google, bereitstellen kann. Aber nehmen wir an, es gibt einen Weg, dies zu tun. Menschen suchen täglich Millionen, wenn nicht Milliarden von Malen. Es stehen einfach nicht genügend Ressourcen zur Verfügung, um die Analyse eines riesigen Indexes zur Generierung des Ergebnisses durchzuführen. Und am wichtigsten ist, die Suche muss schnell sein. Google zeigt immer noch die Zeit an, die benötigt wird, um eine Anfrage zu bearbeiten, wenn Sie suchen. Millisekunden zählen.
Daher analysiert die Suchmaschine nicht das gesamte Internet, sondern nur die besten Websites mit Inhalten, die die Suchmaschine als gut erachtet. In diesem Fall müssen Sie zuerst diese Kriterien entwickeln und dann, wenn Sie eine Suchmaschine von Grund auf neu erstellen, bestimmen, welche Websites zuerst indexiert werden sollen. Dies umfasst in der Regel die besten Websites im Internet: Apple, Amazon, Wikipedia, CNN, BBC, Spiegel, New York Times, Bloomberg, The Verge, Lifewire, CNBC, Reuters, ESPN, TechRadar, Facebook, Twitter, YouTube, Reddit und Hunderttausende weiterer Websites zu den beliebtesten Themen.
Die hunderttausend beliebtesten Websites im Internet können die meisten gängigen Anfragen unterstützen, und Ihre Suchmaschine kann relevante Informationen zurückgeben. Aber die Menschen suchen nicht nur nach dem, was sehr beliebt ist, manchmal suchen sie nach spezifischeren Anfragen. Das bedeutet, Sie benötigen mehr Websites, zum Beispiel Tab-TV, Windows Central, GiftsLab, Alphr und viele andere, weniger beliebte Websites, damit Ihre Suchergebnisse nicht nur für die beliebtesten Anfragen relevant sind. Was sollte ich tun, wenn ich nach einer lokalen Schulwebsite oder einer lokalen Nachrichtenwebsite in einer Stadt mit 5.000 Einwohnern suche? Somit steigt die Anzahl der zu analysierenden Websites auf etwa eine Million.
Außerdem, wenn Sie eine Suche in verschiedenen Sprachen durchführen möchten, müssen Sie nicht nur englischsprachige Websites, sondern auch Websites auf Deutsch, Französisch, Niederländisch, Türkisch und Russisch analysieren. Also ja, die tatsächliche Anzahl der zu indexierenden Websites beträgt nicht weniger als eine Million.
Die Schwierigkeiten bei der Erstellung eines Indexes
Spinnen werden zur Analyse verwendet. Sie werden so genannt, weil sie das World Wide Web analysieren. Sie analysieren den Inhalt jeder Seite, um ihn zum Index hinzuzufügen. Um die Suche innerhalb eines Indexes zu erleichtern, kann man einen mehrstufigen Index erstellen. Dann wird Ihre Suchmaschine zuerst bestimmen, zu welchem Index die Anfrage gehört: Essen, Bewertungen, Nachrichten, Sport, Unterhaltung, Video und dann innerhalb dieses und einiger benachbarter Indizes suchen. Aber zuerst benötigen Sie den Index, der Hunderte von Millionen analysierter Seiten enthält.
Dafür werden Sie Spinnen verwenden. Aber Spinnen sind nicht willkommen, denn sie können viele Anfragen an eine Website senden. Wenn es zu viele von ihnen gibt, kann es wie ein DDOS-Angriff sein, wenn der Website-Server zu viele Anfragen erhält. Dafür verwenden Websites robots.txt-Dateien, die bestimmen, welche Spinnen die Website besuchen können und welche nicht. Technisch gesehen ist niemand im Internet verpflichtet, diese Richtlinien zu befolgen, aber es gehört zum guten Verhalten im Internet. In der Regel beschränken Websites Spinnen und machen Ausnahmen für einige Suchmaschinen: Google, Bing, möglicherweise Yandex in russischsprachigen Ländern oder Baidu, wenn der Inhalt auf Chinesisch ist. Denn es ist für die Website wertvoller, dass diese Systeme ihre Seiten indexieren, obwohl dies Serverkosten verursacht.
Spinnen arbeiten schnell. Wenn Sie genügend Rechenleistung haben, erhalten Sie schnell genug einen zufriedenstellenden Index. Google verwendet die Search Console für Webmaster, wo sie Sitemaps hinzufügen können. Das ist eine Karte der Website, die der Suchmaschine ermöglicht zu verstehen, wohin sie die Spinnen zuerst und mit welcher Priorität schicken soll. Sie müssen jedoch wertvoll sein, damit die Leute Ihre Konsole öffnen und dort etwas über Ihre Website hinzufügen. Zum Beispiel hat Das Splaitor seine Sitemap nicht zu Bing hinzugefügt. Nicht weil diese Suchmaschine für uns nicht wichtig ist. Wir kommen einfach nicht dazu, weil ihr Einfluss auf unsere Leistung ziemlich gering ist und dies für uns keine Priorität hat. Was können wir sagen, wenn Sie ein Unternehmen sind, das gerade erst anfängt und mit Google konkurrieren möchte. Websites werden einfach nicht daran interessiert sein, Informationen mit Ihnen zu teilen.
Ein reiner Index reicht nicht aus
Sobald der Index erstellt wurde, ist das nur der Anfang. Denn nicht alle Seiten sind gleichwertig. Die Menschen wollen das sehen, wonach sie suchen. Wenn ich nach „Facebook Login“ suche, möchte ich, dass der Facebook-Link zuerst erscheint und nicht ein Artikel von einer Drittseite. Das nennt man Relevanz. Das Problem ist, dass Suchanfragen unterschiedlich sind. In meinem Facebook-Beispiel ist es wichtig für mich, einen Link zu Facebook zu bekommen. Aber wenn ich nach einem Fernsehtest suche, möchte ich wahrscheinlich nicht, dass Links zur Samsung-Website in den ersten Ergebnissen erscheinen. Bedenken Sie, dass Anfragen sehr unterschiedlich sein können und jede ihre eigenen Kriterien zur Bewertung der Relevanz hat.
Hier kann maschinelles Lernen zur Rettung kommen. Wir werden Relevanzkriterien definieren, unseren Index nach verschiedenen Abfragevarianten sortieren: Bewertungen für Bewertungen, Sport für Sport, Nachrichten für Nachrichten. Dann wird mit Hilfe von maschinellem Lernen der Inhalt der Seiten analysiert, um zu bestimmen, wie sehr dieser Inhalt der Anfrage entspricht und den Benutzern hilft. Auch hier gibt es viele Dinge zu beachten: Wie viel Autorität fördern Sie auf der Seite? Sollte beispielsweise Chip für dieselben Anfragen höher eingestuft werden als Das Splaitor, einfach weil Chip eine höhere Autorität hat? Autorität ist auch schwer zu definieren. Typischerweise beinhaltet dies das Alter der Seite, die Anzahl der Seiten auf der Website, das Vorhandensein von Links von anderen Seiten und wer dort schreibt.
Sich zu sehr auf Autorität zu verlassen, kann auch zu Problemen führen. Zum Beispiel werden renommierte Seiten Inhalte von geringerer Qualität veröffentlichen, weil sie trotzdem höher in den Suchergebnissen rangieren als bessere Inhalte von weniger renommierten Seiten. Wenn Sie die Autorität jedoch unterschätzen, besteht die Chance, dass Ihre Suchanfragen mit Nischenseiten überflutet werden. Es gibt so viele Variablen, die richtig berücksichtigt werden müssen.
Daher können Sie sich nicht ausschließlich auf maschinelles Lernen und Algorithmen verlassen. Sie benötigen Hunderte, wenn nicht Tausende von Menschen, die Suchergebnisse manuell analysieren und bestimmen, wie gut sie ihren Erwartungen entsprechen. Das wird eine langwierige Arbeit sein. Die Menschen werden Suchergebnisse bewerten, sie bewerten und Sie werden wissen, wenn etwas nicht stimmt. Sie werden Änderungen vornehmen und alles erneut testen.
Und wenn Sie das tun, wird es nur die halbe Miete sein. Denn Sie müssen synonyme Reihen definieren, damit selbst eine falsch eingegebene Anfrage die richtigen Ergebnisse liefert. Zum Beispiel sollte ich bei der Suche nach Berlin und deutscher Hauptstadt ungefähr dieselben Ergebnisse erhalten. Sie müssen auch ein System entwickeln, um zu verhindern, dass Websites Ihre Suche manipulieren. Unter anderem müssen Sie lernen, Spam-Inhalte von nützlichen Inhalten zu trennen. Sie müssen nicht nur Schlüsselwörter analysieren, sondern auch bestimmen, ob jede Seite es wert und wertvoll ist, in den SERP angezeigt zu werden.
Der Platz für Kompromisse
Daher ist eine Suchmaschine immer ein Balanceakt und ein Kompromiss. Zwischen Website-Autorität und Inhaltsrelevanz. Zwischen Geschwindigkeit und Relevanz. Zwischen Ressourcen und Qualität. Websites ändern sich auch ständig, und Menschen suchen mit neuen Anfragen nach Informationen. Unseriöse Websites werden versuchen, Ihr System auszutricksen und höher zu ranken, als sie es verdienen. Websites werden Links kaufen und Texte mit Keywords überfluten, minderwertige Inhalte schreiben und sie von anderen Seiten kopieren. All dies bedeutet, dass es nicht ausreicht, einfach ein System zu entwickeln; Sie benötigen Ressourcen, um es ständig zu verbessern und anzupassen.
Natürlich können Sie solche Probleme vermeiden, indem Sie Ihre Suche auf die 10.000 beliebtesten und vertrauenswürdigsten Websites der Welt beschränken. Nur in diesem Fall wird Sie wahrscheinlich niemand brauchen. Daher ist die Erstellung eines vollwertigen Suchsystems teuer, zeitaufwändig und arbeitsintensiv. Aber nehmen wir an, Sie haben diesen Weg beschritten.
Herzlichen Glückwunsch, Sie haben jetzt Ihr eigenes Google geschaffen. Vielleicht wird es in einigen Aspekten sogar besser sein als Google selbst. Vielleicht wird es für einige Anfragen etwas relevantere Informationen liefern. Das Problem ist, dass niemand „ein weiteres Google“ will. Warum sollte ich zu Ihrer Suchmaschine gehen, um mehr oder weniger dasselbe zu bekommen?
Und warum sollten Sie Zehn- oder gar Hundertmillionen ausgeben, um das zu schaffen, was bereits existiert? Deshalb lizenzieren viele alternative Suchmaschinen ihre Datenbank von Bing. Mit diesem Ansatz zahlen sie etwa 10-20 Euro pro 1000 Anfragen und erhalten den gesamten Index, den Bing sammeln konnte, und alles andere, was der Suche zugrunde liegt. Sie erstellen dann eigene Add-ons für diese Suchergebnisse mit dem Ziel, Ihnen ein neues Benutzererlebnis zu bieten. Andere Suchmaschinen, einschließlich Yahoo und DuckDuckGo, tun dies ebenfalls. Dennoch müssen Sie etwas Besonderes bieten, um Google zu schlagen.
Das beste Beispiel ist Bing. Ein großartiges System, kein Scherz. Es sucht in einigen Aspekten sogar besser als Google. Das Problem ist, dass die Menschen nicht zu Ihnen kommen werden, wenn Sie nur anbieten, etwas „ein wenig besser“ zu machen. Gewohnheit ist eine extrem schwierige Sache. Sie ändert sich sehr langsam. Wenn die Menschen bereit sind, ihre Gewohnheit zu ändern, dann zugunsten von etwas Grundlegend Neuem. Das bedeutet, Sie müssen etwas anbieten, das die Menschen lieben werden. Verschiedene Unternehmen und Projekte lösen Probleme unterschiedlich. Bing erfuhr einen Interessenschub nach der Einführung des AI-Chats. DuckDuckGo legt besonderen Wert auf Ihre Privatsphäre. Andere Systeme bieten Ihnen eine personalisiertere Suche.
Dies ist der erste Teil einer Artikelserie über die Suche, wie sie funktioniert und die Hauptakteure. Danke fürs Lesen.
