Author Archives: Nils Juenemann

About Nils Juenemann

Ich bin System Architect und arbeite seit 2006 für VZ.

Firefox 7 Auto-Update

Spannend wie schnell Mozilla das automatische Updates zum Endnutzer bringt. In zwei Wochen wurden so gut wie alle Nutzer automatisch auf die neue Version migriert. Wird Zeit, dass die verbleibenden Browser ähnliche Mechanismen etablieren und es damit den Nutzern und auch den Web-Entwicklern einfacher machen.

(In der Grafik sind _nicht alle_ Browser abgebildet)

Wir unterstützen mit unserer neusten Version (GWT basierend) folgende Browser:

  • Firefox 3.6+
  • Chrome 11+
  • Internet Explorer 7+
  • Opera 11.5
  • Safari 5+

Apache Hadoop Get Together Berlin

We would like to announce the December-2009 Hadoop Get Together in newthinking store Berlin.

When: 16. December 2009 at 5:00pm
Where: newthinking store, Tucholskystr. 48, Berlin, Germany

As always there will be slots of 20min each for talks on your Hadoop topic. After each talk there will be a lot time to discuss. You can order drinks directly at the bar in the newthinking store. If you like, you can order pizza. We will go to Cafe Aufsturz after the event for some beer and something to eat.

Talks scheduled so far:

Richard Hutton (nugg.ad): “Moving from five days to one hour.” – This talk explains how we made data processing scalable at nugg.ad. The company’s core business is online advertisement targeting. Our servers receive 10,000 requests per second resulting in data of 100GB per day.

As the classical data warehouse solution reached its limit, we moved to a framework built on top of Hadoop to make analytics speedy, data mining detailed and all of our lives easier. We will give an overview of our solution involving file system structures, scheduling, messaging and programming languages from the future.

Jörg Möllenkamp (Sun): “Hadoop on Sun”
Abstract: Hadoop is a well known technology inside of Sun. This talk want to show some interesting use cases of Hadoop in conjunction with Sun technologies. The first show case wants to demonstrate how Hadoop can used to load massive multicore system with up to 256 threads in a single system to the max. The second use case shows how several mechanisms integrated in Solaris can ease the deployment and operation of Hadoop even in non-dedicated environments. The last usecase will show the combination of the Sun Grid Engine and Hadoop. Talk may contain command-line demonstrations ;).

Nikolaus Pohle (nurago): “M/R for MR – Online Market Research powered by Apache Hadoop. Enable consultants to analyze online behavior for audience segmentation, advertising effects and usage patterns.”

We would like to invite you, the visitor to also tell your Hadoop story, if you like, you can bring slides – there will be a beamer. Thanks for Isabel Drost who is organizing this event and for Newthinking Store for providing Space. VZnet Netzwerke is sponsoring the video recording of the talks.

Registration:

  • http://upcoming.yahoo.com/event/4842528/
  • https://www.xing.com/events/apache-hadoop-berlin-426025

    • N✮SQL Berlin Roundup

    Key-value-stores and other non-relational databases are a hot topic right now, as it increasingly turns out that the traditional (= relational) approach is difficult to scale horizontally. In other words, it may be time — as Bob Ippolito put it — to “Drop ACID and think about data”.

    If you couldn’t make it to the first “NoSQL Meetup Berlin” which recently took place at newthinking store — all the talks have been recorded and are on vimeo now:

    Heise has a good summary (in german).

    Here at StudiVZ we are following this topic very closely and are actively investigating some of the alternatives. At the moment, Cassandra looks very promising to us.

    Some more links:

    Ein Stückchen studiVZ – Web Slices

    Mal wieder steht der Release eines neuen Browsers auf der Agenda, denn Microsoft bringt mit dem Internet Explorer 8 eine brandneue Reinkarnation seines Haus-und-Hof-Browsers auf den Markt. Schnell soll er sein – laut eigenen Aussagen – und einige neue Funktionen erwarten uns: Angefangen von Accelerators (z.B. Adresse markieren und direkt auf Google Live Maps anschauen) über InPrivate Browsing (auch bekannt als “Porno-Funktion”) bis hin zum SmartScreen Filter, der uns vor bösen Webseiten schützen soll. Und natürlich viel viel mehr.

    Intern waren vor allem unsere HTML/CSS und JavaScript-Fachkräfte schon tatkräftig bei der Arbeit, um unsere Seite (und vor allem den Chat) für den IE8 fit zu machen. Erfreulicherweise gibt es aber garnicht mal soviele Unterschiede zum IE7, somit gehen die Anpassungen relativ schnell von der Hand.

    Eine weitere – vielleicht sogar die größte – Neuerung, wird bereits jetzt von unseren Platformen unterstützt: Die Web Slices (Web Slice Format Specification). Web Slices sind eigentlich eine Mischung aus Favoriten mit Vorschaufunktion und RSS-Feeds. Man kann sich Bestandteile einer Webseite abonieren, die dann in regelmäßigen Zeitabständen automatisch aktualisiert werden. Der Anwender wird dann automatisch über Veränderungen informiert und muss nicht jedesmal selbst aktiv werden. Ansich also eine ganz nette Funktionalität. Auch in der IE-Addon Gallery sind wir schon vertreten, zu bestaunen unter www.ieaddons.com/de/social.

    IE8 Add-On Gallery

    Bei uns kann man ein Web Slice hinzufügen, mit dem man den vollen Überblick über Aktivitäten im eigenen Netzwerk bekommt. Wer war auf meiner Seite? Habe ich neue Nachrichten? Hat mir jemand etwas gezeigt? Das sind nur einige Fragen, die dort beantwortet werden und zwar egal auf welcher Seite man gerade unterwegs ist. Voraussetzung ist, dass der Nutzer unsere (auch recht neue) Remember-Me-Funktion (die persistener Cookie beim Anwender setzt) aktiviert hat, sonst muss man sich jedesmal neu einloggen.

    Technisch ist ein Web Slice simpel aufgebaut:

    • Ein umgebendes (DIV-)Tag mit der Klasse “hslice” und einer ID
    • Ein Tag mit der Klasse “entry-title”, deren Inhalt den Titel definiert
    • Ein Tag mit der Klasse “entry-content” für den eigentlichen Inhalt der angezeigt werden soll

    Darüber hinaus kann dieses Basis-Konzept eines Web Slices natürlich noch erweitert werden. Bei studiVZ kommt z.B. eine “Alternative Display Source” und eine “Alternative Update Source” zum Einsatz, damit nicht bei jedem Update die komplette Startseite aufgerufen werden muss, sondern wirklich nur das, was auch im Web Slice angezeigt wird.

    Die nachstehende Grafik soll die Zusammenhänge nochmals verdeutlichen:

    WebSlice bei studiVZ

    WebSlice bei studiVZ

    Wenn ihr den IE8 bereits am Start habt, könnt ihr das Web Slice auf der Startseite oder in der IE-Addon Gallery abonieren. Natürlich gibt’s das Web Slice für alle drei Platformen.

    Zusatz:
    Auch für den Firefox wird bereits ein Plug-In für die Web Slices und die Activities umgesetzt. Sieht auf jeden Fall interessant aus.

    MySQL DBA Tools

    Als MySQL Datenbankadministrator ist man täglich damit beschäftigt, unzählige Datenbank-Server am Laufen zu halten. Hier eine Auswahl an Werkzeugen, die man unbedingt in der täglichen Arbeit braucht:

    Aus Maatkit eignet sich mk-query-digest besonders gut, um ein System nach einem Neustart der Datenbank “aufzuwärmen”.

    mk-query-digest --processlist h=d-mm-05-1-svz --execute h=d-mm-05-2-svz \
   --filter '$event->{fingerprint} =~ m/^select/

    Außerdem kann man damit sehr elegant an einem Zweitsystem verschiedene Dinge testen und die Auswirkungen direkt beobachten.
    Es bietet sich dazu an, dass man sein System damit immer genau im Blick hat:

    • Ganglia (Distributiertes Grid Monitoring)

    ganglia-view

    Ganglia ist eine Allzweckwaffe, um ein Gefühl dafür zu bekommen, wie eine Datenbank “lebt”. Es visualisiert quasi den Herzschlag des Systems. Durch gmetric bekommt man zudem die Möglichkeit mit wenig Aufwand alle möglichen Parameter vom System oder der Datenbank an Ganglia zu übergeben und damit zu visualisieren. Basics dabei sind die Queries per Second, Slave Lag und Slow Queries per Second.

    • iostat -x

    Was ist auf meinen Platten los? Wie verteilt sich das await auf die einzelnen Devices? Viel sieht man damit leider nicht, aber es gibt deswegen Erweiterungen für MySQL, die das IO bis auf Tabellen und Indizes runterbrechen können.

    • Nagios – damit man den Fehler auch mitbekommt

    Kristian Köhntopp hat dafür was Nettes gebaut. Man braucht an der Stelle also nicht mehr ganz so viel tun.

    Nicht zu vergessen der Kommandozeilenclient mysql mit einem ordentlichen Prompt, damit man nicht bei mehreren Maschinen durcheinander kommt:

    [mysql]
    prompt = \u@hostname[\d]>\_