Finde das schwarze Schaf

27 April 2011 13 Comments

Bild: CC-BY dheuer | flickr.com

Im Bereich Social Media Monitoring schießen die Anbieter wie Pilze aus dem Boden. In der großen Herde gibt es auch ab und an schwarze Schafe.

Doch wie erkenne ich ein schwarzes Schaf?

der Anbieter behauptet, Daten von sozialen Netzwerken wie Facebook oder StudiVZ komplett monitoren zu können. (Alle durch Passwörter oder Privatsphäreneinstellungen geschütze Bereiche derartiger Netzwerke dürfen nicht gemonitort werden)
der Anbieter setzt sich mit der Datenschutzproblematik des Monitorings generell nicht auseinander
der Anbieter führt die Tonalitätsanalyse der einzelnen Beiträge automatisiert durch, ohne dass diese im zweiten Schritt noch einmal redaktionell überprüft wird. (Dabei kann es zu Ungenauigkeiten kommen, da z.B. Ironie oder Sarkasmus durch automatisierte Analysen nicht zuverlässig dem korrekten Senitment zugeordnet werden können)
es erfolgt keine individuelle Themenmodulation & Keyword-Analyse (Das wird dann zu einem Problem, wenn ein Monitoring für Kunden wie MAN oder die swb aufgesetzt werden soll)

Diesen Beitrag hatte ich schon lange in der Warteschleife, bis ich dann heute auf einen Eintrag im Grey Blog gestoßen bin. Im Interview mit Johannes Lenz berichtet Philipp Renger von Vico Research aus seinem Arbeitsalltag und spricht die oben genannten Eigenschaften schwarzer Schafe an. Ich kann ihm da nur vollkommen zustimmen.

Hier gibt’s das Video in voller Länge:

http://twitter.com/JohannesLenz Johannes Lenz

Vielen Dank Christine.

Ich denke, das Interview zeigt Unternehmen klar, worauf sie achten sollten, wenn sie ein Angebot eines Social Media Monitoring Tool Anbieters erhalten.

lg jo
- http://twitter.com/punktefrau Christine Heller
  
  Definitiv! Es ist wichtig auch mal aufzuzeigen, woran man unseriöse Anbeiter erkennt. Das Interview ist klasse!
  
  LG Christine
Pingback: Linkdump for 27. April 2011 Links synapsenschnappsen
http://www.facebook.com/philipp.renger Philipp Renger

Hi Christine,

danke das du das Interview hier aufgegriffen hast und schön das es dich dazu gebracht hat den Beitrag zu verfassen.

Zum 3. Punkt deiner Auflistung hätte ich noch etwas anzumerken:

Ich denke nicht, dass die Seriösität eines Anbieters damit steht oder fällt, ob Beiträge bezüglich ihrer Tonaltiät redaktionell überprüft werden oder nicht. Mir ging es in dem Interview eher darum zu verdeutlichen, dass es kein standard Sentiment gibt, sondern dieses für jede Branche (ggf. für jeden Kunden) entsprechend modelliert bzw. angepasst werden muss.

Natürlich verbleibt auch nach einer Anpassung ein gewisser Fehlerquotient, der anschließend durch eine redaktionelle Überprüfung gesenkt werden kann. Dies ist meiner Meinung nach jedoch nur in den wenigsten Fällen von Nöten, bei gewissen Themen aber sicher zu empfehlen.
Eine redaktionelle Überprüfung ist vor allem für die von dir genannten Ungenauigkeiten bei Ironie und Sarkasmus nur bedingt hilfreich, da selbst das menschliche Gehirn damit ggf. Probleme hat.
- http://twitter.com/punktefrau Christine Heller
  
  Philipp vielen Dank für deine Reaktion auf meinen Blogpost. Ich kann deinen Einwand durchaus verstehen. Allerdings habe ich die Erfahrung gemacht, dass viele Anbieter Kunden nicht darauf hinweisen, dass die Tonalitätsanalyse nicht redaktionell sondern automatisch erfolgt und dass es dabei zu Ungenauigkeiten kommen kann. Für mich ist die Tonalitätenanalyse eine der entscheidenden Punkte beim Monitoring. Wenn ich die Wahl habe, würde ich mich immer für eine redaktionell betreute Sentimentanalyse entscheiden, aber das ist nur meine ganz persönliche Meinung.
  
  Liebe Grüße nach Stuttgart
  Christine
http://twitter.com/Andre_Hell André Hellemeier

Hallo Christine,
es sollte vielleicht auch darauf hingewiesen werden, dass es zwar viele Social Media Monitoring Anbieter gibt, aber nur wenige leistungsstarke und verlässliche Monitoring Tools.
Ein Unternehmen dass eine Agentur für das Monitoring beauftragen will, sollte sich im Vorfeld erkundigen mit welchen Tools die Agentur arbeitet und Preise vergleichen. Nicht selten kommt es vor, das Agenturen Leistungen in Rechnung stellen, die keine zusätzlichen Hardwarekosten verursachen, da sie entweder kostenlos oder durch die von Philipp angesprochene monatliche Fee abgedeckt sind.
Es soll schon vorgekommen sein, dass Freeware Tools in Rechnung gestellt wurden.

Beste Grüße aus Hamburg
- http://twitter.com/punktefrau Christine Heller
  
  Lieber André,
  
  da hast du vollkommen Recht. Das ist wirklich ein wichtiger Punkt.
  
  Vielen Dank für dein Statement und liebe Grüße,
  Christine
http://www.facebook.com/stefanie.assmann Stefanie Aßmann

Mit dem Punkt zum Sentiment disqualifizierst Du alle Tool Anbieter, auch Radian6 und Sysomos die ihr einsetzt!
Soweit ich weiß, arbeiten die auch direkt mit Endkunden und nicht nur mit Agenturen oder Medienbeobachtern wie altares ;-)

Ich gebe Dir völlig Recht, dass diese Anbieter kommunizieren sollten, dass ein Out-of-the-Box Sentiment nicht sinnvoll ist. Das machen viele nicht. Das ist nicht okay.

Wenn Du für große Kunden mehrere Tausend Beiträge pro Tag hast, kannst Du das nicht preisgünstig manuell nachbearbeiten.
Also machen wir es bei VICO so, dass wir den Sentiment auf den jeweiligen Kunden/Untersuchungsgegenstand/Thema trainieren. Da ist der Aufwand bei der Implementierung zwar höher, man bekommt aber ein vernünftiges Sentiment.
Aber wir kommunizieren beim Kunden IMMER, dass Ironie automatisiert nicht erfasst werden können.
Eine Trefferquote von 80% ist für die meisten Kunden aber völlig ausreichend.

Ein viel schlimmeres Thema finde ich demografische Daten. Die können auf den meisten Plattformen nicht korrekt erfasst werden. Und wenn ich dann von 50 von 5000 Beiträge demografische Daten erhalte, liefert das nur beispielhafte Daten. Aber jeder möchte sie haben.

Hier deckt sich einfach Angebot und Nachfrage. Und leider ist immer am Schluss der Preis entscheidend!
- http://twitter.com/punktefrau Christine Heller
  
  Liebe Stefanie,
  
  bei der altares Mediamonitoring habe ich tatsächlich mit den Sytemen von Radian6 und Sysomos gearbeitet. Mir war immer wichtig zu kommunizieren, dass es Unterschiede zwischen einer automatischen und einer redaktionell betreuten Senitment-Analyse gibt. In den meisten Fällen konnte ich das auch den Kunden vermittelt und habe dann im System von Sysomos die Tonalitäten redaktionell nachbearbeitet. Eure Herangehensweise ist da sehr vorbildlich und transparent, so sollte es sein.
  
  Das Problem der demografischen Daten hatte ich bei den beiden Systemen auch und musste sie mühevoll nachrecherchieren. Den Mehraufwand wollen leider wenige Kunden zahlen. Im Durchschnitt ist die Zahlungsbereitschaft für Social Media Monitoring-Dienstleistungen noch nicht besonders groß. So entscheiden sich viele für den günstigeren und nicht immer besseren Dienstleister – aber das gibt es ja in jeder Branche :-).
  
  Liebe Grüße
  Christine
- Admin
  
  Kriegt ihr wirklich 80% hin? Auf der M2C waren sich eigentlich Alle SM-Experten vor Ort einig, dass 70% Standard sind. Und da ging es um engl. Sprache ohne doppelte Verneinung etc..
  - http://www.facebook.com/stefanie.assmann Stefanie Aßmann
    
    Das liegt einfach daran, dass alle die amerikanischen Tools nutzen, die einen einheitlichen Sentiment für alle Kunden anbieten. Da finde ich es krass, wenn man da wirklich 70% hinbekommt. Mich würde mal interessieren, wer sich von denen schon mal die deutschen Tools (VICO, ethority, BIG) angeschaut hat. Wenn man für jedes Projekt, jedes Thema den Sentiment individuell konfiguriert, bekommt man schon eine gute Quote hin. Der Sentiment muss natürlich auch gepflegt werden. 80% ist das Maximum.
  - Marc Egger
    
    Zum Thema Sentiment Analysis auf Beitragsebene: http://acl.ldc.upenn.edu/acl2004/emnlp/pdf/Mullen.pdf Im Artikel wurden ein paar Trefferquoten verglichen (56 – 85%). Zu beachten ist hier, dass es sich bei den Tests um Produktbewertungen handelte. welche im Sentiment tendentiell zuverlässiger bestimmbar sind.
Pingback: Linktipps #14 - genuin4