Tag Archives: CDN

Serving objects is more than plain delivery

On April 26th 2007 Steve Souders wrote:

The user’s proximity to your web server has an impact on response times. Deploying your content across multiple, geographically dispersed servers will make your pages load faster from the user’s perspective. […] Remember that 80-90% of the end-user response time is spent downloading all the components in the page: images, stylesheets, scripts, Flash, etc. […] A content delivery network (CDN) is a collection of web servers distributed across multiple locations to deliver content more efficiently to users.

Steve posted this approx. e^3.25809654 days after(!) we started to use a CDN for our web sites. Just some days later we noticed the desired effect. Our users started to make more and more traffic. The activity grew. Of course a CDN is some kind of luxury but it’s worth to invest into such a service at a special time. And from our point of view we thought it was time to. We were right.

Actually round about 286.356,421^2 objects will be requested per month by our users. More than the half of that (5,4E10 objects) are photos. Small, medium and big sized ones. So each of all photo files we store will be loaded round(pow(2,4.91)) times in a month. That makes a monthly traffic volume of more ore less 265.334.489.612.288 bytes only for these kind of objects. The total traffic of all delivered objects per month is something about 1,402939962446178 times higher.

At high traffic times there are over 110000110101000002 requests per second hitting our CDN and we are happy that our origin servers only get the (5^5)th part of it.

As a side effect we can learn something about the behaviour of our users because the performance graphs can show us for example what they do in the evening. Maybe the Schimanski serials on 26th of July was one of the reasons for the spikes after 8 pm (see graph above) which are nothing else than commercial breaks. Have a break, have a visit at studiVZ.

Auf der Suche nach den verschwundenen Fotos

hotlinkingAm Dienstag, den 17.02., haben wir bei unserem Content Delivery/Distribution Network (CDN) ein sogenanntes “Referrer Checking” aktiviert. Wird also versucht ein Foto, das bei uns liegt, auf einer anderen Internetseite einzubinden (Stichwort Hotlinking), kommt nicht das gewünschte Foto sondern die nebenstehende Grafik.

Übrigens… In Spitzen laden VZ Nutzer mal locker über 1.000.000 neue Fotos am Tag bei uns hoch und es werden um die/über 70.000 Anfragen pro Sekunde an unser CDN gestellt. Das CDN schützt unsere Image Server (die Server, die die ganzen Fotos und anderen statischen Inhalte ausliefern) davor, sich dieser enormen Last selber stellen zu müssen.

Ich weiß nicht, was ich verbrochen habe, aber ich sehe seit einigen Tagen keine Fotos mehr im meinVZ, studiVZ oder schülerVZ. Hilfeee!

Dafür kann es verschiedene Gründe geben. Letztlich reduziert sich das darauf, dass euer Browser (Firefox, Internet Explorer, Safari, Opera usw.) keinen korrekten “Referrer” übermittelt. Daran muss nicht direkt der Browser schuld sein. Antiviren-, Firewall- oder Proxy-Software zum Beispiel beeinflussen die Übermittlung des Referrers bzw. verändern diesen dahingehend, dass anstelle des korrekten Referrers ein “Blocked by Firewall XYZ” übermittelt wird, sofern man dies nicht deaktiviert. Manche haben sich vielleicht das Firefox Add-on “RefControl” installiert. Dort und bei der anderen Software sollte zumindest das Senden eines leeren Referrers eingestellt sein. Dann müsste alles wieder funktionieren.

[UPDATE]
Wir haben uns unterdessen dazu entschieden, auch leere Referrer zu akzeptieren. Deshalb wurde der Artikel entsprechend angepasst und ist jetzt etwas übersichtlicher geworden.

[UPDATE]
Unterdessen sind leere Referrer wieder von der Whitelist gestrichen worden. Wer jetzt noch mit den Fotos ein Problem hat, schaue bitte in die entsprechenden Hilfegruppen:

http://www.meinvz.net/Groups/Overview/fbd443e298aee375
http://www.studivz.net/Groups/Overview/193b82ce5c44d2ba
http://www.schuelervz.net/Groups/Overview/f2d4f75f70701b0f

[UPDATE]
Leere Referer sind wieder erlaubt.

[UPDATE 16.11.2010]
Aufgrund der unsteten Ergebnisse des Referrer-Checks und massiven Nutzerbeschwerden haben wir uns entschieden, den Check auf allen drei Plattformen schülerVZ, studiVZ und meinVZ wieder abzuschalten.

Sobald wir zusätzliche geeignete Maßnahmen zum Schutz von Bildern im VZ kennen, werden wir deren Einsatz umgehend prüfen.