Google und  andere sog. Suchmaschinen wie Bing, Yahoo!, DuckDuckGo, Ask.com oder Ecosia bewerten Webseiten bzgl. ihrer inhaltlichen und ihrer Link-Relevanz. Um zu verstehen, wie eine Webseite in den Datenbestand einer Suchmaschinen gelangt, soll zunächst zwischen den beiden wesentlichen Komponenten Crawler und und Indexer unterschieden werden, derer sich Suchmaschinen üblicherweise bedienen. Dies ist eine stark vereinfachte Betrachtung, da in der Realität noch weitere Komponenten im Suchmaschinenbetrieb hinzukommen, wie ein Parser und notwendigerweise ein Speichermanagement.

Der Crawler

Ein Crawler ist ein Programm welches in Webseiten nach Verweisen (Links) sucht und diese einer Liste von zu durchsuchenden Webseiten hinzufügt. Diese Verweise können aus Adressen zu anderen Webseiten bestehen, zu Bildern oder anderen Dateiformaten. Die Liste der Verweise wird solange abgearbeitet, bis alle Verweise verfolgt wurden. Schleifen in Verweisen werden dabei erkannt und verhindert.

Und genau an dieser Stelle, also beim Crawling der Suchmaschinen sollten Maßnahmen ansetzen, um gefunden zu werden.

Wie schaffe ich Relevanz für eine Webseite?

Um gefunden zu werden, müssen daher die Crawler über Webseiten mit Verweisen zu Ihrer eigenen Webseite finden können. D.h. nur wenn auf anderen Webseiten Ihre Seite verlinkt ist, finden Google & Co. den Weg dorthin und nehmen Ihre Seite in den Suchindex auf. Je zahlreicher die Verweise auf Ihre Webseite sind, je größer deren Relevanz. Externe Verweise, also solche aus Webseiten anderer Webdomains, erhöhen Ihre Seitenrelevanz zusätzlich.

Wird eine Seite noch nicht in einer Suchmaschinen gefunden, was ohnehin nicht unmittelbar nach der Veröffentlichung der Fall sein wird, sollte zunächst versucht werden, Kooperationspartner oder die eigene Fakultät um entsprechende Verweise zu Ihrer Webseite zu bitten. Einzelne, losgelöste Webseiten, die nicht verlinkt sind, werden von Suchmaschinen nicht wahrgenommen. Andere Suchmaschinen, die nichts index-basiert arbeiten, sondern evtl. lokal im Dateisystem suchen, arbeiten ggf. ein wenig anders.

Hat man für Verweise auf die eigenen Seiten gesorgt, kann es noch einige Tage dauern, bis diese im Suchindex auftauchen. Dabei kann es passieren, dass alte eigene Seiten, oder konkurrierende interne und externe Seiten, noch immer eine höhere Relevanz besitzen, da sie von zahlreicheren Webseiten verlinkt sind oder noch immer eine höhere inhaltliche Relevanz besitzen.

Welche Maßnahme / Aktionen erhöhen zusätzlich die Relevanz einer Webseite?

Mit der erstmaligen Erfassung einer Webseite (über Verweise anderer Seiten) endet der Einfluss auf die Wahrscheinlichkeit, dass eine Seite gefunden wird, noch nicht. Suchmaschinen sind lernfähig und registrieren z.B. dass ein Treffer in der Suchausgabe angeklickt wird. Je häufiger und von je mehr verschiedenen Adressen aus Klicks auf Fundstellen erfolgen, je mehr wird die Relevanz steigen. Voraussetzung dafür ist natürlich, dass eine Seite überhaupt im Suchindex erscheint.

Die inhaltliche Relevanz kann man dadurch erhöhen, dass im Textbereich, also dem eigentlich Content, relevante Schlüsselbegriffe verwendet werden, nach denen Suchende üblicherweise suchen würden, quasi Begriffe mit dem Charakter eines Alleinstellungsmerkmals platziert werden. Dabei sollten diese Suchbegriffe kein Selbstzweck sein, sondern sich aus dem Inhalt ergebende Begriffe, meist fachlicher Art.
Auch die Wahl des Dateinamens einer Webseiten dient als Relevanzmerkmal.

Schaut man sich Seiten an, die nicht gefunden oder erst auf den unteren Plätzen der Suchergebnisse genannt werden, stellt man fest, dass dieser nicht verlinkt wurden oder deren Textanteil oft noch relativ gering ausfällt, oder beliebig austauschbar erscheint, unter Umständen auch noch Text als Grafik geradezu versteckt wurde, was weder barrierefrei noch sinnvoll ist.

Vereinfacht gesagt, sind Webseiten, die barrierefrei sind, auch suchmaschinen-freundlich.

Und was ist mit Meta-Angaben?

Im Kopfbereich einer Webseite, dem sog. HEAD-Abschnitt, lassen sich Meta-Anweisungen zum Inhalt einer Webseite angeben. So ist z.B. die Angabe von Schlüsselbegriffe (keywords) oder einer Kurzbeschreibung (description) ebenso vorgesehen, wie ein optionales Verbot für Suchmaschinen, eine Seite zu crawlen und zu indizieren, den sog. Robots-Optionen.

Während die Robots-Option von bekannteren Suchmaschinen beachtet wird, ein (Durch-)Suchverbot also beachtet wird, werden Schlüsselbegriffe und Beschreibungen von klassischen Suchmaschinen i.d.R. ignoriert, da diese zu oft mit irreführenden Begriffen gefüllt waren, oft ohne Bezug zum Inhalt der Seite.
Dieses Vorgehen kann sich aber durchaus auch wieder ändern und in die Relevanzermittlung einfließen, weshalb man gut beraten ist, die Eingabefelder für Meta-Anweisungen sinnvoll zu füllen.
Innerhalb des Imperia-Workflows können Sie die Robots-Anweisung aus einer Kombination der Optionen "noindex" und "nofollow" im Meta-Edit-Schritt wählen.

Sog. Meta-Crawler werten die zuvor genannten Meta-Felder aus und gehen oft auch noch darüber hinaus, in dem Sie z.B. das Metadatenschema der Dublin Core Metadaten Initiative (DCMI) berücksichtigen. Wegen der leider geringen Bedeutung für die bekannteren Suchmaschinen, allen voran Google, bietet das ZIM die Eingabe von Metadaten im Dublin-Core-Format aktuell nicht an.

Womit wir wieder bei der Ausgangsfrage wären, wie Suchmaschinen funktionieren?
Damit aus den gecrawlten Inhalten der täglich durchsuchten Webseiten ein durchsuchbarer Datenbestand wird, kommt bei Suchmaschinenbetreibern der Indexer ins Spiel.

Der Indexer

Der Index nimmt die Adressen der Verweise in seinen Datenbestand auf und ordnet diese ermittelten Begriffen zu, meist in Kategorien, durch definierte Algorithmen, deren sich der Parser bedient.
Bei der Suche wird der/die Suchbegriff/e im indizierten (oder indexierten) Datenbestand gesucht und die dazu gefundenen Seitenadressen und Textausschnitte (Snipplets) ausgegeben.