Suchen mit Google

In diesem Video erklärt Matt Cutts, wie die Google-Suche funktioniert.

Bei jeder Suchanfrage wird der Index des gesamten Internets durchsucht. Zu diesem Zweck stehen bei Google Hundertausende von Servern, deren Daten alle miteinander verbunden sind. Ziemlich beeindruckend, dass eine Suchanfrage bei Google häufig Milliarden von Ergebnissen zurück liefert, aber nie länger als eine halbe Sekunde in Anspruch nimmt. Damit setzt Google den Referenz-Wert für Datenbank-Abfragen. Alles, was nicht so schnell Antworten liefert wie Google, ist damit in den Augen der Nutzer langsam. Die erste Form der Suchmaschine wurde von Larry Page 1996 entwickelt. Er nannte die Suchmethode PageRank. Häufig wird angenommen, der Name bezieht sich auf die Methode, über die Links die Relevanz (Rank) der Seiten (Page) zu bewerten. Tatsächlich ist die Sache aber einfacher - er meinte sich einfach selbst!

Per Schieberegler in die Cloud

Die Google API Konsole macht einen aufgeräumten Eindruck. Übersichtlich werden 64 verschiedene Schnittstellen ins Google-Universum aufgeführt. Wie gelernt beim Rivalen Apple werden die gewünschten APIs über einen Schiebregler "on/off" geschaltet.

 

Klar nachvollziehbar ist der Zweck der API und wie viele Zugriffe täglich auf die dahinterliegende IT-Ressource möglich sind. Das Spektrum reicht von 100 "Custom Searches", die man auf für eigene Web-Seite konfigurieren kann bis zu  100 Millionen täglichen Zugriffe auf die eigene Datenbank in der Google Cloud. Über dem Freikontingent wird es dann teurer. Praktisch sind die Preistabellen, da man solche Angaben auch als Benchmarks für andere Cloudservices verwenden kann. Dazu kommen noch AGBs und natürlich die technische Beschreibung der jeweiligen Schnittstelle, damit man diese in sein selbstentwickeltes Programm integrieren kann. Die APIs führen zu den bekannten Google-Ressourcen wie Streetview oder Maps und auch zu exotischen Gebilden wie dem URL-Kürzer GL, den man dann wieder mit den Google Analytics verbinden kann oder zu BigQuery, einem Cloud-Werkzeug, mit dem man eigene Datenbanken im Terabyte-Bereich mit Milliarden von Einträgen in Sekunden durchsuchen kann.

100 Millionen Zeilen Code

Google Lexus (c) wikicommons

„Hin und Her macht Taschen leer“, heißt es zumindest am der Börse. Im IT-Geschäft laufen solche Prozesse organisch und in etwas längeren Zeiträumen. Nach mehreren Jahren des Outsourcings von IT-Dienstleistungen aller Art kommt jetzt aus den USA der gegenläufige Trend des Insourcings. Vorreiter ist GM, deren CIO Randy Mott über 10.000 IT-Jobs ins Unternehmen zurückholen will. Im Hintergrund geht es um die immer wichtigere Rolle von IT im Auto und nicht etwa nur in der Produktion wie früher. Eine neue Limousine der Oberklasse fährt heute neben 100 Mikroprozessoren auch 100 Millionen Zeilen Code spazieren und die Komplexität wird in den nächsten Jahren nur zunehmen. Ein selbstfahrendes Auto wie der Lexus von Google verarbeitet etwa 1,5 Millionen Umgebungssignale pro Sekunde, um auf der richtigen Spur zu bleiben. Heute ist das Google-Auto noch vollgestopft mit zusätzlichen Elektronik-Komponenten. In wenigen Jahren bereits wird all das bequem in der Verkleidung und hinter dem Armaturenbrett verschwinden. Klar, dass GM sich in einer solchen Situation nicht von branchenfremden Innovatoren die Butter vom Brot nehmen lassen will. Im Vergleich dazu  überrascht der in Deutschland noch vorherrschende Trend, in genau den Bereichen, die in den letzten Jahren am weitesten standardisiert wurden, weiter auszulagern.  Nach der Studie „IT Sourcing“ von PwC meinen die IT-Verantwortlichen von Großunternehmen mehrheitlich, dass durch Standardisierung in Rechenzentren noch weitere Synergien zu heben sind. Das größte unentdeckte Handlungspotential ermittelt PwC aber im Schnittstellenmanagement. Hier zählt die Studie noch gar kein Unternehmen, dass vollständig standardisiert ist und 40% aller Unternehmen wären gar nicht oder nur gering standardisiert. Dabei ist ein professionelles API-Management der Schlüssel, damit die hohe Anzahl von Teilsystemen, nicht nur im Automobilbau, nahtlos und agil zusammen arbeiten können.

4 Sheriffs gegen 12 Trillionen

„Vier Sheriffs zensieren die Welt“ textet reißerisch „Die Zeit“ um Google und Co an den Pranger zu stellen. Der Redakteur unterstellt, dass Google und Co Inhalte zensiert, weil es Suchergebnisse nach bestimmten Kriterien sortiert oder dass Facebook schnüffelt, weil es immer wieder seltsame Fragen an seine Nutzer stellt. Leider findet sich kein Wort dazu, in welch hohem Maße solche Plattformen von seinen Nutzern zur Artikulation und zur Kommunikation verwendet werden. 1 Milliarde Posts am Tag auf Facebook lassen darauf schließen, dass noch nie so viele so vieles schriftlich mitgeteilt haben (siehe „Die Renaissance der Verschriftung“). Doch wie viel wird davon gelesen? Laut Sturgeons Gesetz ist 90% von allem sowieso Mist – und diese Einsicht hatte er bereits 1951. In der bemerkenswerte Studie „The Social Economy“ hat sich das US-Beratungsunternehmen McKinsey auch der Beantwortung dieser komplexen Frage gewidmet:

Quelle: McKinsey "The Social Ecoomy" (Zitat)

Antwort: in den USA werden pro Jahr 12 Trillion Wörter konsumiert. Das bedarf der Konvertierung, da die wenigsten von uns mit solchen Summen operieren. Eine „Trillion“ im Amerikanischen kann man auch als 10 hoch 12 oder als eine 1 mit zwölf Nullen ausdrücken. Im Deutschen sagen wir dazu 1 Billion. Bemerkenswert ist die historische Entwicklung der unterschiedlichen Konsumkanäle. Der Konsum von gesprochenen oder geschriebenen Wörtern in den klassischen Kommunikationskanälen Telefon, Fernsehen, Post aber auch im zwischenmenschlichen Dialog hat seinen Höhepunkt bereits um die Jahrhundertwende überschritten. Seitdem geht die Nutzung dieser Kanäle deutlich zurück, während gleichzeitig der Gesamtkonsum von Wörtern deutlich ansteigt. Noch liegt der Wortanteil der sozialen Medien unter 10%. Allerdings kommen Zeitschriften und deren digitale Pedanten zunehmend unter Druck, was auch den Zeit-Artikel ein Stück weit erklärt, Das hohe generelle Zuwachstempo in den letzten 10 Jahren lässt darauf schließen, dass sich die Dynamik unverändert fortsetzt. „Das ist alles zu viel“ sagen die einen, während die Technologieführer mit verfeinerter Technologie versuchen auf dieses veränderte Konsumverhalten von hunderten von Millionen zu reagieren. In einer logischen Weiterentwicklung und als Antwort auf den steigenden Konsum von geschriebenen Wörtern verzichtet beispielsweise Microsoft in seiner neuesten Ausgabe seines Betriebssystems - Windows 8 - auf die Abbildung von niedlichen Vögelchen oder Schafen vor Teletubby-Landschaften. Stattdessen gibt es einen „cleanen Look“ und auf den Metro-Kacheln tummeln sich Nachrichten und Statusmeldungen. Auch solche marginal erscheinenden Veränderungen werden dazu beitragen, dass der Wortkonsum in den nächsten Jahren weiterhin steil nach oben zeigt. 

Zurück zur „Zeit“. Die Online-Ausgabe erreicht immerhin Platz 56 im deutschen Traffic-Ranking und bekommt auf Facebook noch 1.184 „gefällt das“.

Feiner Zug von McKinsey: die ganze Studie gibt es kostenlos als eBook.

Vergebliche Suche nach dem Gral

Steven Levy, Quelle: WikiCommons

Mitte der neunziger Jahre explodierte das www. Aufgrund von Metcalfe’s Law wurde das Suchen von Informationen im Netzwerk exponentiell immer schwieriger. Altavista oder Lycos bemühten sich nach Kräften um die Suche nach Schlagworten auf anderen Webseiten, waren letztlich aber qualitativ  vergebliche Ansätze. In einer Mischung aus etwas Hedonismus und großer Genialität erkannte Larry Page die Lücke und schuf mit seinem Partner Sergej Brin „PageRank“. Viele Leute im Umfeld damals dachten, der Name sei Programm, da diese Suchmaschine Suchbegriffe nicht direkt suchte, sondern vielmehr die Relevanz der Quelle nach dem Rang der jeweiligen Seite (Page) bewertet (Rank). Je mehr Links auf eine Fundstelle zeigten, desto relevanter musste das Ergebnis sein. Dabei meinte Larry Page gar nicht die Seite, sondern wollte ganz unbescheiden seinen Nachnamen verewigen. Dieses Bonmot erzählt Steven Levy in seinem exzellenten Buch „In the Plex“. Der Rest ist Geschichte. Seit September 1998 heißt die Suchmaschine Google.

Auf Informationsplattformen in Unternehmen ist dieses geniale Prinzip jedoch nur unter einer Bedingung anwendbar: die Informationen müssen über Links miteinander verknüpft sein. Je mehr Dokumente oder Webseiten verfügbar sind und je umfassender diese Informationen miteinander verlinkt sind, desto relevanter wird das Suchergebnis sein. Weiter verbessert wird das Suchergebnis, wenn Soziale Medien in Unternehmen für den Informationsaustausch intensiv genutzt werden und Mitarbeiter relevante Informationen per Link teilen, bzw. sharen. Auf diese Weise entstehen sehr relevante Informationen, die von übergreifenden Suchmaschinen auswertbar sind.

Übergreifende oder förderierte Suchmaschinen können auf einzelne Anwender automatisiert so eingestellt werden, dass diese die aus Anwenderperspektive relevante Informationsquellen wie aus einem Guss durchsuchen. Dazu können gehören: persönlichen Festplatten, persönliche Laufwerke, Gruppenlaufwerke, persönliche Postfächer, Gruppenpostfächer, Collaboration Rooms, Soziale Medien,  Intranets, Extranets und das Internet.

Als Zutaten braucht man Crawler, die permanent die Informationsflut in Unternehmen durchsuchen, reichlich günstigen Plattenplatz um die Suchergebnisse zu speichern und Software, die dafür sorgt, dass die Suche nach Informationen in dieser trüben Suppe zügist über die Bühne geht. Google löste das Zugriffsproblem mit der selbstentwickelten Technologie MapReduce und verkündet das Ergebnis zu Recht stolz nach jeder Suche. Bei der Suche nach „MapReduce“ findet Google 710.000 Suchergebnisse geordnet nach Relevanz in 0,28 Sekunden. Google stellt diese Spitzentechnologie als Open-Source in Form des Hadoops von Apache kostenlos zur Verfügung.

Meistern und anpassen an die jeweils eigenen Umgebungen muss man das alles aber schon selbst – typischerweise sind dazu nur Großunternehmen in der Lage. Gute Informationen aber sind die Grundlage für die richtigen Entscheidungen und dafür benötigt man leistungsfähige Suchkonzepte sowie die entsprechenden Experten.

Hirsebrei und Überfluß

Gebrüder Grimm Denkmal in Hanau, Quelle: WikiCommons

Es war eine Zeit, in der Hunger eine reale tägliche Gefahr war, als das Grimm‘sche Märchen vom Mädchen und dem Topf entstand, in dem immerzu der süße Hirsebrei kocht und überquillt, so dass sich alle satt essen können. In der digitalen Ökonomie gibt es heute Überfluss zum Nulltarif. Ob Google Drive oder DropBox: 5 GB zum Nulltarif gibt es an jeder digitalen Straßenecke und eine Festplatte mit 1 TB gibt es für unter € 100. Das Versprechen der Cloud scheint wahr zu werden. Möglich wird dies, weil Online-Firmen in ihren Rechenzentren die Daten immer dichter packen können und auf teure Spitzentechnologie verzichten. Google verbaut in seinen Rechenzentren nicht-zertifizierte B-Ware und nimmt Hardware-Defekte einfach in Kauf, weil darüber eigenentwickelte Speichersoftware die Ausfallrate von 4% im Jahr für den Anwender einfach wegbügelt.

Bei Facebook entsteht bei 1 Mrd. Post am Tag (zu 5 kb) und 250 Mio. Fotos am Tag (zu 20kb) täglich ein Speichervolumen von 10.000 GB, dass für alle Ewigkeit weggespeichert wird. Kein Wunder, dass Anwender den gleichen Überfluss auch im Unternehmen erwarten. Diese tun sich aber in der Bereitstellung schwer damit, weil dort häufig  hochverfügbare Speicherumgebungen für Geschäftsdaten gebaut wurden, die für den Zweck der Massenspeicherung viel zu teuer sind.

Für das Informations- und Wissensmanagement ist Speicherplatz im Überfluss jedoch der ideale Nährboden. Je mehr strukturierte Angebote den Anwendern in Unternehmen zur Verfügung stehen, seien es Fileserver, Postfächer, Intranets, Shares, Collaboration Rooms, Wikis oder Soziale Medien, desto besser. Menschen im Unternehmen werden sich genau so verhalten wie im Privatleben, wo sie sich ebenso zunehmend wie selbstverständlich und lokal wie global digital mit anderen Menschen austauschen, von Chat bis Skype.

Naturgemäß fürchten Unternehmen den Kontrollverlust. Mit einer ganzheitlichen Strategie zum Informationsmanagement kann man dem aber begegnen. Beispielsweise kann man mit semantischen Texterkennungs- und Klassifizierungsprogrammen erkennen, wenn kritische Dokumente ungesichert am falschen Ort abgelegt werden. Mit Security Incident Event Management (SIEM) können Regeln definiert werden um Regelbrüche automatisiert zu erkennen. Mit Social Media Miner (SMM) kann auch in Sozialen Medien in Unternehmen soziale Kontrolle ausgeübt werden. Wer die Datenflut ruft sollte besser mit den richtigen Werkzeugen vorbereitet sein, um den überquellenden Überfluss beherrschen zu können.

Mobile Megatrends

Andreas Constantinou von Vision Mobile, London, zeigt in dieser 68-seitigen Präsentation, wo die Reise des mobilen Computings in den nächsten Jahren hingeht und erklärt, warum Andorid von Google die Nase vorn hat.

 

Womit verdient YouTube Geld?

Erst mal ein paar Fakten:

• zur Zeit werden jede Minute 35 Stunden Videomaterial auf YouTube hochgeladen
• der Marktanteil im Segment Internet-Videos in den USA beträgt 73%
• die IT-Infrastruktur und für die Bandbreite von den Google-Rechenzentren ins Intranet verschlingt Millionen - jeden Monat (Google gehört YouTube und zahlte dafür 1,65 Mrd. US-$).
• für einen deutschen Anwender scheint es auf YouTube keine klassische Werbung zu geben. Für die sKanäle allerdings müßen Werbetreibende bezahlen. Loggt man sich mit seinem Konto in den USA ein - oder stellt in Europa eine US-IP dar - erscheint jede Menge Werbung. Übrigens läuft das bei Facebook genau so. Der US-Markt für Online-Marketing ist viel weiter entwickelt als der in Europa. Aus US-amerikanischer Perspektive wird der Rest des Planeten eben für kleines Geld"mitversorgt. Man könnte auch sagen: da gibt es noch mächtig globales Potential.
• Shishir Mehrotra, der Google-Chef für die Monetarisierung (das heißt wirklich so) von digitalen Inhalten, analysierte vier Jahre nach der Gründung von YouTube das im Vergleich zu Google sehr unterschiedliche Nutzerverhalten der Anwender:
• manche kommen für 30 Sekunden oder 1 Video
• manche bleiben den ganzen Nachmittag
• manche schauen Lagerfeuer
• manchen schauen ganz normale Fernsehwerbung
• manche gehen auf Business-Känäle und schauen Produktpräsentationen
  u.a.m.
• Daraus entwickelte Google/YouTube unterschiedliche Marketing-Formate
• Anwender können sich aus Werbung aus-x-en (ähnlich wie bei Facebook US). Das lieben Werbetreibenden, denn die, die dabei bleiben, sind offensichtlich treue Kunden - dafür wird dann mehr fällig.
• Hollywood.Studios können neben Clips mit Raubkopien Werbeplätze schalten für die sie Geld bekommen. YouTube zahlt von den anderen Werbeträgern dann einen Anteil an den Rechteinhaber, der zuläßt, dass unlizensiertes kurzes Material auf YouTube läuft.
  u.a.m.

Wir wären ja von YouTube schwer enttäuscht, wenn es zu den verschiedenen Werbemöglichkeiten nicht auch ein Video gäbe. Allerdings spricht YouTube mit uns nur Englisch:

Insgesamt ist es YouTube mit diesen und anderen Strategien gelungen, im Jahr 2010 auf Einnahmen von etwa 700 Mio. $ zu kommen - eine stolze Summe. Das sagt zwar noch nichts über einen Gewinn oder Verlust aus - der weitere Weg ist aber nur noch eine Frage der Zeit.

Warum kosten e-Mails bei Google Enterprise Geld?

E-Mails sind kostenlos. Zumindest, wenn man Angebote von web.de, Yahoo oder Google in Betracht zieht. In der Regel muß man dann als Fußnote Werbung mitverschicken, hat nur wenig Speicherplatz und kann keine Kalendereinträge mit anderen austauschen.

Angebot von Google Enterprise, Foto jpl

Wenn man nur diese drei Funktionen in Betracht zieht, landet man bei einem Anbieter wie "Google für Unternehmen" bereits bei $ 33 oder € 25 pro Anwender und Jahr. Wenn man annehmen würde, daß ein größeres Unternehmen bei Abnahme von 1.000 Plätzen 25% Rabatt bekäme, wären das € 1,56 pro Platz und Monat. Dafür muß man sich dann aber auch nicht um die Server und das Management der Umgebung kümmern. Vorausgesetzt, man vertraut Google (und anderen Anbietern) in Punkto Sicherheit über den Weg. Schließlich liegen alle e-Mails und damit kritische Unternehmensdaten auf Servern von Google, die irgendwo über den Planeten verstreut sind. Viele Anwender werden sich aber Microsoft Outlook zur Bedienung auf dem PC oder Notebook wünschen. Solche Lizenzkosten und die CAL, um den PC mit Servern logisch zu verbinden, kommen noch hinzu. Von der Begrifflichkeit handelt es sich um eine Software, die vollständig als Dienstleistung ("as  a Service") bezogen werden kann. Daher der Begriff SaaS oder Software-as-a-Service. Man zahlt monatlich wie im Abo für den Dienst, ohne daß einem etwas gehört und ohne daß Management erforderlich wäre.

Wie viele Server betreibt Google? | Wie groß ist das Internet?

Mich erreichte die Frage: wie viele Server betreibt Google?

Antwort: im Geschäftsbericht von Google gibt es dazu keine Aussage. Also ist man auf andere Quellen und Näherungsrechnungen angewiesen.

Google betreibt nach auffindbaren Angaben mehr als 1.000.000 Server.

Firmen wie Google und Amazon verbauen Monat für Monat über 10.000 Server, um mit dem Wachstum des Internets und dessen Nutzung Schritt zu halten. Man nimmt an, dass 2% aller Server der Erde Google gehören. Die Angaben zur Anzahl der Rechenzentren, in denen Google diese Server betreibt, schwanken zwischen 30 und über 400. In den ersten Jahren betrieb Google seine Infrastraktur meist auf gebrauchten Servern, die ab und an auch aus der Konkursmasse von .com-Kollegen gekauft wurden. Auch heute noch verbaut Google bevorzugt möglichst einfache Komponenten, dafür davon dann aber viele.

Es wird geschätzt, dass insgesamt 44.000.000 Server heute das globale Internet versorgen.

Bei der Suche nach diesen Zahlen stieß ich auf das lesenswerte Blog Royal Pingdom , die noch ein paar andere interessante Zahlen über die 'Größe des Internets' im Jahr 2010 zusammengestellt haben:

Kommunikation

107 Billionen emails

480 Mio neue e-Mail Benutzer im letzten Jahr

89% aller emails sind Spam

Websites

255 Millionen Websites

21 Millionen neue Websites

Benutzer

1,97 Milliarden Menschen nutzen das Internet

das ist ein Plus von 14% zu 2009

davon 475 Millionen in Europa

davon 266 Millionen in Nordamerika

davon 825 Millionen in Asien

Soziales Internet

152 Millionen Blogs (einschließlich diesem)

250 Millionen neue Facebook-Benutzer in 2010 (ohne mich)

175 Millionen benutzen Twitter

davon sind 100 Millionen in 2010 dazu gekommen

Videos

2 Milliarden YouTube Videos werden täglich angeschaut

35 Stunden neuer Videos werden pro Minute auf YouTube hochgeladen

Die Datenquellen und Verweise sind auf Royal Pingdom unter diesem Post zu finden.

Aktuell baut auch Facebook gerade wieder ein neues Rechenzentrum (RZ), diesmal im US-Bundesstaat Carolina. Facebook investiert 450 Millionen US-$ und bebaut eine Fläche von 13 ha mit dem neuen RZ. Ein wesentlicher Anreiz sind die niedrigen Stromkosten in Carolina. Das hat bereits dazu geführt, daß in der Nachbarschaft auch Rechenzentren von Google und Apple betrieben werden. Das neue RZ wird nach der lokalen Presse (Story: hier) von gerade einmal 42 Mitarbeitern betrieben.

Google + Amazon = Googlezon | EPIC 2015

Was wäre eigentlich, wenn sich Amazon und Google zu einem gemeinsamen Unternehmen vereinen? Dieser sowohl spannenden als auch gleichzeitig hypothetischen Frage geht ein Video unter dem Titel "Epic 2015" nach. Es werden ein paar interessante neue Begriffe zur digitalen Revolution geschaffen. Manche davon könnten es auch in die Realität schaffen. Das Video ist schon ein paar Tage älter und hat es dennoch auf YouTube.com  (Quelle) gerade mal auf 99.000 Klicks geschafft. Meine Empfehlung.