Wo erhalten Internet Suchmaschinen (z.B. google) ihre Informationen

Die Suchmaschinen bekommen Ihre ganzen Inhalte, genau wie du nur aus dem Internet!
Das Prinzip ist wirklich einfach. Zum Start der Suchmaschinen wurden nur ein paar Webseiten in den Index der Suchmaschinen "manuell" hinzugefügt. Auf diesen Websites befinden sich mit hoher Wahrscheinlichkeit Links, diese werden verfolgt und auch in den Index aufgenommen. Auf den frisch aufgenommenen Links werden auch wieder die Links verfolgt und in den Index der Suchmaschine aufgenommen. Dieses Prinzip geht immer so weiter bis man theoretisch das ganze Internet gecrawled ("aufgenommen") hat.
Man kann davon ausgehen, das google fast jede Website kennt und somit sich den nächsten Schritt widmen kann.

Das wären Probleme wie z.B.:
1. Die Aktualität der Inhalte von den Websites mit den eigenen Suchmaschinen-Datenbank möglichst Syncron halten.
2. Das Anzeigen der richtigen Inhalte bei den jeweiligen Keywords/Schlagwörter.

Zu Punkt: 1
Hierzu benötigt man sehr viele "PCs", da die ganze Zeit Websites der ganzen Welt mit den in der gespeicherten Suchmaschinen-Datenbank verglichen werden. Natürlich nicht in Echtzeit aber bei google ist die Indexierung sehr schnell. Vor allem bei Websites, die den Inhalt ständig ändern. Dies merkt sich google wiederum und besucht solche Seiten öfter, um deren Inhalt aktueller in der eigenen Datenbank zu halten.

Zu Punkt: 2
Hierzu muss eine "Künstliche Intelligenz" geschaffen werden, die am Besten noch eine die vom User lernt.
Alles im Leben ist eine Wahrscheinlichkeitsrechnung. Auf diesen Prinzip und noch viele andere werden Suchanfragen von google analysiert und ein gutes Ergebnis unterbreitet. Was alles möglich im Berreich der Wahrscheinlichkeitsrechnung ist, zeigt uns auch dieses clevere Programm: http://de.akinator.com

Wikipedia beschreibt es so:
Wie beim Internetsurfen gelangt ein Webcrawler über Hyperlinks von einer Webseite zu weiteren URLs. Dabei werden alle aufgefundenen Adressen gespeichert und der Reihe nach besucht. Die neu gefundenen Hyperlinks werden zur Liste aller URLs hinzugefügt. Auf diese Weise können theoretisch alle erreichbaren Seiten des WWW gefunden werden.
Quelle: http://de.wikipedia.org/wiki/Webcrawler