Auf der Suche nach den verschwundenen Fotos

Posted on by

hotlinkingAm Dienstag, den 17.02., haben wir bei unserem Content Delivery/Distribution Network (CDN) ein sogenanntes “Referrer Checking” aktiviert. Wird also versucht ein Foto, das bei uns liegt, auf einer anderen Internetseite einzubinden (Stichwort Hotlinking), kommt nicht das gewünschte Foto sondern die nebenstehende Grafik.

Übrigens… In Spitzen laden VZ Nutzer mal locker über 1.000.000 neue Fotos am Tag bei uns hoch und es werden um die/über 70.000 Anfragen pro Sekunde an unser CDN gestellt. Das CDN schützt unsere Image Server (die Server, die die ganzen Fotos und anderen statischen Inhalte ausliefern) davor, sich dieser enormen Last selber stellen zu müssen.

Ich weiß nicht, was ich verbrochen habe, aber ich sehe seit einigen Tagen keine Fotos mehr im meinVZ, studiVZ oder schülerVZ. Hilfeee!

Dafür kann es verschiedene Gründe geben. Letztlich reduziert sich das darauf, dass euer Browser (Firefox, Internet Explorer, Safari, Opera usw.) keinen korrekten “Referrer” übermittelt. Daran muss nicht direkt der Browser schuld sein. Antiviren-, Firewall- oder Proxy-Software zum Beispiel beeinflussen die Übermittlung des Referrers bzw. verändern diesen dahingehend, dass anstelle des korrekten Referrers ein “Blocked by Firewall XYZ” übermittelt wird, sofern man dies nicht deaktiviert. Manche haben sich vielleicht das Firefox Add-on “RefControl” installiert. Dort und bei der anderen Software sollte zumindest das Senden eines leeren Referrers eingestellt sein. Dann müsste alles wieder funktionieren.

[UPDATE]
Wir haben uns unterdessen dazu entschieden, auch leere Referrer zu akzeptieren. Deshalb wurde der Artikel entsprechend angepasst und ist jetzt etwas übersichtlicher geworden.

[UPDATE]
Unterdessen sind leere Referrer wieder von der Whitelist gestrichen worden. Wer jetzt noch mit den Fotos ein Problem hat, schaue bitte in die entsprechenden Hilfegruppen:

http://www.meinvz.net/Groups/Overview/fbd443e298aee375
http://www.studivz.net/Groups/Overview/193b82ce5c44d2ba
http://www.schuelervz.net/Groups/Overview/f2d4f75f70701b0f

[UPDATE]
Leere Referer sind wieder erlaubt.

[UPDATE 16.11.2010]
Aufgrund der unsteten Ergebnisse des Referrer-Checks und massiven Nutzerbeschwerden haben wir uns entschieden, den Check auf allen drei Plattformen schülerVZ, studiVZ und meinVZ wieder abzuschalten.

Sobald wir zusätzliche geeignete Maßnahmen zum Schutz von Bildern im VZ kennen, werden wir deren Einsatz umgehend prüfen.

This entry was posted in Uncategorized by admin. Bookmark the permalink.

26 thoughts on “Auf der Suche nach den verschwundenen Fotos

  1. Bitte sagt mir nicht, dass das der einzige Schutz der Fotos ist. Referrer sind so einfach zu fälschen, dass die Annahme, dies würde zu einer Verbesserung der Datensicherheit führen, einfach nur Unsinn ist. Kein halbwegs richtig denkender Mensch, der sich mit der Materie befasst, glaubt das. Besser wäre hier, und ich hoffe so etwas existiert, ein richtiger Authentifizierungsmechanismus über die Zugangsdaten.

    Der Schutz vor hoher Last ist der einzige (jedoch sehr legitime und gute) Zweck der Sache. Immerhin verbessert es letzten Endes auch die Geschwindigkeit der Page. Aber würde es hier nicht reichen, bei fehlendem Referrer ein Auge zuzudrücken, so wie es die meisten anderen auch tun? Manche User, z.B. (unfreiwillig) hinter einem filternden Proxy, haben keine Möglichkeit, den Referrer zu übertragen. Viele andere können auch nicht rausfinden, an welcher Stelle der Header verloren geht. Das würde auch euren Support entlasten, denn diese Fragen hören sonst nie auf.

  2. Definiendum. Ein Referrer Checking ist kein ausgeklügeltes Sicherheitssystem. Das ist klar :)

    Aber Viele werden daran verzweifeln, wenn sie Fotos von Anderen sehen wollen, die sie gar nicht sehen dürfen (und irgendwie die URL bekommen haben). Und das ist ein Vorteil.

    Und diesen Vorteil finde ich besser als noch so viele Supportanfragen. Ich war neulich in der Hilfegruppe. Es geht echt gar nicht mehr. Diese Hilfegruppen sind aber auch nicht des Supports letzte Weisheit.

    Und wo wir grade bei Gruppen sind. Wie wärs, wenn die Foren der Gruppen mit ein paar mehr Funktionen bedacht werden. Diese beiden Blog-Beiträge haben schon mal Ansätze:

    http://url.jd-blog.de/dwofut
    http://url.jd-blog.de/bh3x0q

    Viele Grüße!

  3. @Definiendum: Deiner Bitte kommen wir gerne nach. Das Wort “Sicherheit” und die Aussage “Der Referrer Check bietet optimalen Schutz” findest du nirgends im Blogbeitrag ;-)

    Wir haben übrigens schon einige Zeit über eine Lockerung der Restriktionen des Referrer Checks nachgedacht und du warst jetzt sozusagen der berühmte Tropfen für das ebenso berühmte Fass (siehe [UPDATE]). Danke!

  4. apropros cdn: wann kriegt ihr denn das “error to orgin” problem in den griff? liegt das daran, das zu spitzenzeiten die last auf den quellservern immer noch zu hoch ist oder an etwas anderem?

    lg

  5. @j: das “error to origin problem” können wir nicht bestätigen. für zweckdienliche hinweise (screenshot, firebug console screenshot, tcpdump :)) sind wir dir dankbar!

  6. “Aber Viele werden daran verzweifeln, wenn sie Fotos von Anderen sehen wollen, die sie gar nicht sehen dürfen (und irgendwie die URL bekommen haben). Und das ist ein Vorteil.”

    Ich fand diesen Vorteil auch sehr gut. Schade, dass es ihn nicht mehr gibt!

  7. Hey!
    Ich muss sagen,dass hat jetzt nicht den “1a”-Effekt!
    Ich meine: Man übermittelt einfach via.RefControl einen leeren bzw.einen gefakten Referer und fertig!
    Naja…So solls sein :D

  8. viel wichtiger wär mal ne XML API für SVZ, womit man sein eigenes profil aktualisieren könnte =) damit könnte man selber apps fürs handy schreiben, oder wenn man kein internet hat, eine SMS an ein handy, was am pc angeschlossen is senden, und den etwas aktualisieren lassen.. mal den usern ein paar möglichkeiten bieten selbst etwas zu machen..

    muss ja keine komplizierte XML Api sein..
    es würd ja reichen wenn man an api.schuelervz.net per post sendet:

    ….
    ….

    Bin gerade bei Max.

    und noch ne idee wären mal SMS benachrichtigungen in SVZ.. Wie es auch bei MySpace geht..

    hm ich find in diesem blog sollte es einen bereich für ernstgemeinte vorschläge geben. die vorschlag-schreib-funktion im SVZ selber ist nicht so toll, da die vorschläge da wohl seltener gelesen werden, da da denke ich mal viel zu viele, oft schlechte, vorschläge reinkommen..

    [Sorry wegen groß klein schreibung hab grad nich viel zeit ^^]

  9. Das Einbinden in fremde Webseiten und das weitergeben von Links ist nach wie vor möglich. Beim Einbinden muss man halt etwas tricksen und ältere Browser zeigen die Beilder dann vielleicht nicht an, aber die meisten benutzen ja eh aktuelle Browser. Man braucht nicht mal Javascript dazu, aber Javascript erhöht die Kompatibilität ;-)

    Die Idee mit dem XML-API find ich auch gut (aber für Einstellungen und Nachrichten), aber das wird wohl nicht realisiert werden. So wie SchülerVZ jetzt schon mit Captchas beim Nachrichtendienst automatischen Abrufen entgegenwirkt…

  10. In dem Kommentar von mir hatte ich auch schon ein Beispiel für eine solche einfache API. Der Code wurde allerdings automatisch entfernt. Es würde ausreichen, wenn man einfach das “… ist gerade …” und sein Profil aktualisieren könnte.
    Da der Code entfernt wurde, habe ich danach den Code bei pastebin.ca eingefügt und den Link hier rein geschrieben. Allerdings müssen Kommentare mit Links erst freigeschaltet werden.
    Hier nochmal der Link ohne HTTP:…
    pastebin.ca/1344001

  11. Aber wie gesagt, ich glaube nicht das das kommt. Was wirklich wichtiger ist (Microblog, Einstellungen, …) ist eine Streitfrage, das “xy ist gerade” ist sicher eine Wichtige Funktion (Chat u.ä.)

    Über schuelervz.net/Microblog/Edit kann man den Text auch anpassen, aber abrufen kann man ihn nur über Profilseiten/Freundeslisten :-(

  12. Hab mir das jetzt mal noch genauer angegugt…

    Meintest du nicht eher so ein Format?

    pastebin.ca/1344870

  13. das war nur ein grober vorschlag^^
    aber am simpelsten wäre halt, in der XML E-Mail und Passwort bzw. UserID und Passwort anzugeben und dann halt das was man machen will.. Microblog ändern, foto ändern etc..

  14. Ich glaub du verwechselst da etwas:

    Die XML wird normalerweise vom Server an den Client geschickt (wenigstens wenn man http verwendet). Und das der Server dem Client mitteilt was für ein Passwort er hat find ich ein kleines Sicherheitsrisiko ;-)

  15. XML hat doch nichts damit zu tun, dass etwas vom Server an den Client übermittelt wird. ;)
    Eine XML an sich ist ja erstmal ein “Format” zur Darstellung von strukturierten Daten.
    Und diese wird halt gerne zur Kommunikation von vielerlei unterschiedlichen Programmen / Servern usw. genutzt.
    Eine XML heißt nicht gleich dass etwas vom Server an den Client gesendet wird, nur weil du es als greasemonkey-scripter nicht anders kennst ;D

    guck dir z.b. ma die Google API an.. Was man da alles machen kann. Ich hab mir ein Programm geschrieben, was Google Kalendar ausnutzt um mir eine SMS zu schreiben wenn ein bestimmtes Programm auf meinem PC zum beispiel sich beendet hat etc. (Ich lass mein programm per Google API ein Termin eintragen der in einer minute ist und stell diesen auf SMS erinnerung ;D)

    also glaub ich eher du verwechselst da was^^

  16. Schon mal ein Greasemonkey-script gesehen das in XML geschrieben ist ? ;-)

    Ich glaube wir reden aneinander vorbei…

    Also, so mein Vorschlag:

    1. Der Cleint sendet eine normale HTTP-Anfrage (Post)
    2. Der Server sendet als Antwort die Daten im XML-Format, da das meiner Meinung nach oft einfacher zu handhaben ist als json.

    Ich meinte nicht das XML nur für Webserver verwendet wird, ich meitne nur das es selten zum senden von Daten an Server verwendet wird (Regeln bestätigen die Ausnahme, z.B. jabber)

  17. Ich weiß wohl wie du das meintest.
    Also ich meinte:
    Es ist nicht so, dass nur Server mit einer XML etwas an den Client antworten/senden, sondern auch umgekehrt. Das hat absolut null mit GreaseMonkey scripts zu tun.
    Es geht nicht alles nur um JavaScript. Stell dir vor, ich möchte auf meinem PC mir eine Anwendung basteln, welche es mir erlaubt mein “ist gerade…” zu ändern, ohne dies per Browser zu tun. Oder dass diese Anwendung auf eingehende Signale durch irgendetwas anderes ausgelöst wird. Tut auch nichts zur Sache..

    Fakt ist nur, dass es nicht so ist, dass XML nur so genutzt wird, dass der Client
    GET /xmlapi.php HTTP/1.1
    Host: schuelervz.net
    Connection: Close
    macht (natürlich dann noch mit Session Cookies in diesem Fall),
    und dann der Server einfach mit einer XML Antwortet. [Kurz: Es ist nicht nur so, dass Client Get macht und Server XMl zurücksendet] Sondern dass der Client auch per Post eine XML an den Server senden kann, damit der Server weiß was zu tun ist und dann wieder mit einer Erfolgsnachricht oder was auch immer per XML antwortet.

    Und zu deinem Post. für eine normale HTTP-Anfrage ist kein POST nötig. Da werden ja keine Post-Daten gesendet ;)

    Ausserdem werden XML’s auch an anderen Bereichen eingesetzt. Zum Beispiel zur Kommunikation zwischen Programmen oder zur Speicherung von Daten etc.

    Und es ist KEINE Ausnahme und auch keine Seltenheit, wenn ein Client einem Server eine XML sendet. (Wobei die Formulierung mit Client / Server eigentlich die ganze Zeit doof klingt. Naja egal.)

    Jaja der Post ist etwas unstrukturiert :D

    Anwendungsbereiche für eine solche XML API wären z.b. für die eigene Homepage.
    Wenn man da immer hinschreibt, wo man gerade ist / was man gerade tut könnte man das ganze einfach mit der XML an SVZ übergeben.

    Gibt natürlich noch 10000 weitere Anwendungsmöglichkeiten.^^

    Und all diese wären auch, wenn auch komplizierter, ohne die XML API möglich. Indem man sein Programm / Script sich in Schülervz einloggen lässt, das tun lässt, was es tun soll und es sich dann wieder ausloggen lässt. Das kompliziertere dabei ist, dass bei manchen Aktionen ein Captcha erforderlich ist, und auf diese Weise es auch länger dauert, da ja genausoviele Daten übertragen werden, als würde der User selber im Browser auf der Seite sein.

  18. Hey was soll das warum gehts jetzt wieder nicht mit leerem Referrer????????

  19. Also bei mir funktioniert das nicht einmal mit dem RefControl von Firefox. Irgendwelche anderen Vorschläge vielleicht?

  20. Hallo,

    ich drehe hier fast durch, weil ich die fotos seit paar tagen nicht mehr sehen kann :(

    hab von den technischen sachen am pc auch nicht so die ahnung, kann mir jemand bitte erklären wie ich das so einstelle bzw hin kriege damit alles wieder beim alten ist?

    danke :)

  21. Fremde Referer zu blocken kann ich ja verstehen. Aber leere Blocken ist total doof. Schützt vor nichts (kann doch jeder einfach umgehen), aber stört Nutzer, die ihre aus Überzeugung Referer deaktiviert haben. (in den meisten Fällen geht es niemanden etwas an woher ich auf eine Seite komme).

    Übrigens: Referer können nach den RFCs auch leer bzw. nicht vorhanden sein, das sollte man immer als richtige Eingabe behandeln.

    Würde ja einzeln freigeben, aber mit den verschiedenen Adressen für die Image-Server geht das irgendwie nicht so leicht.

Leave a Reply

Your email address will not be published. Required fields are marked *


*