Sentiment-Analyse mit Qlik und ChatGPT

Sentimentenanalyse ist eine weitere analytische Technik, die nun in Qlik integriert werden kann. Diesmal die Lösung ist GPT und seine API, die über den REST Connector mit Qlik verbunden werden kann. Sehen Sie sich die Ergebnisse an und erfahren Sie, wie es funktioniert.

Warum?

Kundenanfragen zu der Möglichkeit der Sentimentenanalyse in Qlik Sense kehren wie ein Bumerang zurück. Bisher lautete die Antwort:

“Ja, es ist möglich, aber ein statistisches Modell muss trainiert werden, was (viel) kostet.”
“Ja, es ist möglich, und es gibt dedizierte Tools dafür, die außerhalb von Qlik liegen.”

Warum GPT?

Das Schöne an der Verwendung von GPT für die Sentimentenanalyse in Qlik ist:

Es kann sofort gestartet werden – GPT ist ein universelles Konversationsmodell, das auf so großen Datensätzen trainiert wurde, dass es im Grunde genommen jede Frage beantworten kann. Es verarbeitet Sentiment-Analyse-Anfragen sehr gut.
Keine zusätzlichen Programmierkenntnisse (Maschinelles Lernen) oder die Notwendigkeit, neue Tools zu erlernen – die Aufgabe für GPT besteht darin, es durch das Stellen der geeigneten Frage “zu programmieren” (mehr dazu unten).
Niedriger Einstiegslevel – sowohl in Bezug auf die Hardware (Qlik Sense in jeder Umgebung ist ausreichend) als auch in Bezug auf die Kosten – die Analyse mehrerer Texte kostet Cent. Für unterschiedliche Aufgaben können ältere, primitivere Versionen von GPT verwendet werden – die sogar noch günstiger sind.
Funktioniert in vielen Sprachen – ohne zusätzliche Programmierung. GPT verarbeitet natürlicherweise Texte in Dutzenden von Sprachen. Selbst wenn Meinungen eine Mischung aus mehreren verschiedenen Sprachen sind.

Wie?

Das Geheimnis besteht darin, die richtige Frage zu stellen. Es gibt viele Hinweise, wie man das macht. Im Falle der Sentiment-Analyse funktioniert das folgende Schema gut:

Sagen Sie dem Tool “was es ist” – zum Beispiel “Handeln Sie als trainiertes ML-Modell zur Sentimentanalyse.“
Sagen Sie ihm “was die Eingabedaten sein werden” – zum Beispiel “Ich werde Ihnen eine Liste von Meinungen in Zeilen geben.“
Sagen Sie ihm “was die Aufgabe ist” – zum Beispiel “Bewerten Sie ihr Sentiment.“
Sagen Sie ihm “wie die Daten vorbereitet sind” – zum Beispiel “Jede Meinung hat eine zugehörige Id“.
Seien Sie präzise bei der Angabe dessen, was Sie als Ausgabe erwarten – zum Beispiel “Geben Sie nur die Id und das Sentiment zurück.“

Auf diese Weise wird die Frage wie folgt aussehen:

Handeln Sie als trainiertes ML-Modell zur Sentimentanalyse. Ich werde Ihnen eine Liste von Meinungen in Zeilen geben. Bewerten Sie ihr Sentiment. Jede Meinung hat eine zugehörige Id. Geben Sie nur die Id und das Sentiment zurück.
+ Liste von Meinungen

Beispiel – Auswertung von Amazon-Produktbewertungen

Um die Lösung zu testen, habe ich mehrere tausend echte Bewertungen von Amazon-Produkten geladen, die von Kaggle heruntergeladen wurden.

Das Ergebnis ist sehr zufriedenstellend.

Bewertungen, die als “Positive” oder “Negative” eingestuft sind, stimmen gut mit der verfügbaren numerischen Bewertung, zum Beispiel:

“Neutral” Bewertungen werden gut erkannt. Darüber hinaus (!) gab es eine Meinung, die als “Mixed” klassifiziert wurde – was tatsächlich genau dem entspricht, was es ist (“Mein Mann liebt diese, aber ich nicht”).:

Technische Details

Ein REST-Connector in Qlik wird verwendet, um auf die API von GPT zuzugreifen.
Eine aktive OpenAI-Konto ist erforderlich.
Die Anfrage, die an GPT übergeben wird, ist eine kombinierte Frage und eine Liste von Bewertungen, die bewertet werden sollen.
Die Anfrage muss als JSON übergeben werden.
Die Anfrage darf einige Sonderzeichen nicht enthalten, daher ist eine Bereinigung der Zeichenfolgen der Meinungen erforderlich.
Es gibt eine Grenze für die “Tokens”, die von GPT in einer Anfrage verarbeitet werden, daher müssen wir für eine längere Liste mit der For-Schleife iterieren.
Das Ergebnis ist ein Zellenwert, das dann in Qlik zu einer Tabelle konvertiert werden muss – unter Verwendung von From_Field Load.

Nächste Schritte

Verwenden Sie Qlik Facebook-Connector, um Kommentare auf Ihrer Fanpage herunterzuladen und bewerten Sie sie dann mit ChatGPT.

Verwenden Sie Qlik Twitter-Connector, um Twitts mit bestimmten Filtern abzurufen und sie auch zu bewerten.

Sie können auch andere GPT-Modelle testen, die möglicherweise noch günstiger sind und in der einfachen Aufgabe der Sentimentanalyse genauso gut wie das neueste Modell arbeiten.

Wenn Sie Kommentare oder Fragen haben – zögern Sie nicht, mich zu kontaktieren