Statistik Logfiles auswerten

Xb2.Net von Boris Borzic

Moderator: Moderatoren

Antworten
sammler0002
Cut&Paste-Entwickler
Cut&Paste-Entwickler
Beiträge: 33
Registriert: Mi, 23. Dez 2015 22:46
Hat sich bedankt: 4 Mal

Statistik Logfiles auswerten

Beitrag von sammler0002 » Fr, 26. Jun 2020 11:54

Moin Kollegen,

wie wertet Ihr eigentlich eure Logfiles aus?

Bei uns wurde hierfür mal awstats eingerichtet, was ja schon mal eine Übersicht gibt - allerdings fehlt mir da auch einiges.

Ich hätte gern ein Tool, was mir für jedes Item (Bild, HTML etc.) angibt wie oft es in Zeitraum X aufgerufen wurde.

Gibt es da bereits eine fertige Lösung?

Oder hat jemand ein paar Code Schnipsel zum Auswerten der Logfiles?
Grüße von Philipp

ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 1883
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 1 Mal
Danksagung erhalten: 6 Mal

Re: Statistik Logfiles auswerten

Beitrag von ramses » Fr, 26. Jun 2020 13:42

Hallo Philipp

willst du Zugriffe auf Daten auf einem XB2net Web Server auswerten musst du dir deinen eigenen Funktionen schreiben.
Entweder solche die dir alle Aufrufe (Klicks) loggen oder besser gleich solche welche die Statistik entsprechend nachführen.
Valar Morghulis

Gruss Carlo

Benutzeravatar
Tom
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 8177
Registriert: Do, 22. Sep 2005 23:11
Wohnort: Berlin
Hat sich bedankt: 6 Mal
Danksagung erhalten: 25 Mal
Kontaktdaten:

Re: Statistik Logfiles auswerten

Beitrag von Tom » Fr, 26. Jun 2020 15:09

Nun, in den Beispielen und damit auch in vielen davon abgeleiteten Xb2.Net-Programmen wird die xbTLog()-Klasse benutzt, um Zugriffe zu loggen, und dazu heißt es in den Docs von Boris:
xbTLog
Class for logging client requests using Extended Log File Format (W3C Working Draft WD-logfile-960323).
This log format is compatible with Microsoft Internet Information Server (IIS) and is supported by
many third party web log analyzers
.
Es sollte also da draußen jede Menge Tools geben, die die Logfiles verstehen.
Ergänzung: Man kann ja über die iVar :Fields der xbTLog-Klasse festlegen, welche Informationen geloggt werden. Das ist ein konkatinierter String, also kann man auch Semikolons dazwischensetzen, und schwupps hat man eine CSV-Datei. Die kann man sogar mit Excel auswerten.
Herzlich,
Tom

ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 1883
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 1 Mal
Danksagung erhalten: 6 Mal

Re: Statistik Logfiles auswerten

Beitrag von ramses » Fr, 26. Jun 2020 16:18

Hallo Tom

das ist genau so wie du schreibst. XB2net schreibt sein Log mit der xbTLog() Klasse.

NUR bei der Anforderung (GET Request) einer HTML JPG oder sonstigen Datei aus dem www_root Verzeichnis wird Standardmässig NICHT geloggt.

Bei einer WEB-App möchte man ja meist auch noch mehr als nur den Funktionsaufruf loggen da bleibt dann sowieso nur die eigene Log-Funktion....
Valar Morghulis

Gruss Carlo

Benutzeravatar
Tom
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 8177
Registriert: Do, 22. Sep 2005 23:11
Wohnort: Berlin
Hat sich bedankt: 6 Mal
Danksagung erhalten: 25 Mal
Kontaktdaten:

Re: Statistik Logfiles auswerten

Beitrag von Tom » Fr, 26. Jun 2020 17:02

Das ist falsch, Carlo.
Herzlich,
Tom

ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 1883
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 1 Mal
Danksagung erhalten: 6 Mal

Re: Statistik Logfiles auswerten

Beitrag von ramses » Fr, 26. Jun 2020 17:08

Hallo Tom

dir werden also alle Files wie .css .js die du verwendest geloggt? Bei mir nicht.
Valar Morghulis

Gruss Carlo

Benutzeravatar
Tom
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 8177
Registriert: Do, 22. Sep 2005 23:11
Wohnort: Berlin
Hat sich bedankt: 6 Mal
Danksagung erhalten: 25 Mal
Kontaktdaten:

Re: Statistik Logfiles auswerten

Beitrag von Tom » Fr, 26. Jun 2020 17:18

Die werden ja auch nicht zum Client transportiert, lieber Carlo. :wink: Aber alles, was sammler0002 wissen will, schreibt die xbTLog-Klasse mit.
Herzlich,
Tom

ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 1883
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 1 Mal
Danksagung erhalten: 6 Mal

Re: Statistik Logfiles auswerten

Beitrag von ramses » Fr, 26. Jun 2020 18:04

Hallo Tom

Ich habe nachgeschaut: Es sind wirklich nur Spezialfälle die nicht geloggt werden.

Du hast recht.

Sorry für die Verwirrung.
Valar Morghulis

Gruss Carlo

Benutzeravatar
Martin Altmann
Foren-Administrator
Foren-Administrator
Beiträge: 15495
Registriert: Fr, 23. Sep 2005 4:58
Wohnort: Berlin
Hat sich bedankt: 6 Mal
Danksagung erhalten: 8 Mal
Kontaktdaten:

Re: Statistik Logfiles auswerten

Beitrag von Martin Altmann » Fr, 26. Jun 2020 18:05

Tom hat geschrieben:
Fr, 26. Jun 2020 17:18
Die werden ja auch nicht zum Client transportiert, lieber Carlo. :wink:
Ähem: wenn man es genau nimmt, werden die .css-Dateien und die .js-Dateien zum Client transportiert. Beides wird nämlich erst am Client interpretiert (gerendert bzw. ausgeführt).

Viele Grüße,
Martin
:grommit:
Webseite mit XB2.NET und ausschließlich statischem Content in Form von HTML-Dateien: https://www.altem.de/
Webseite mit XB2.NET und ausschließlich dynamischem Content in Form von in-memory-HTML: https://meldungen.altem.de/

Mitglied der XUG Osnabrück
stellv. Vorsitzender des Deutschsprachige Xbase-Entwickler e. V.

Benutzeravatar
Tom
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 8177
Registriert: Do, 22. Sep 2005 23:11
Wohnort: Berlin
Hat sich bedankt: 6 Mal
Danksagung erhalten: 25 Mal
Kontaktdaten:

Re: Statistik Logfiles auswerten

Beitrag von Tom » So, 28. Jun 2020 9:46

Es gibt "go access" in verschiedenen Distributionen und als Installationsaket für Windows: https://itefix.net/cowaxess

@Martin: Eingebettete Komponenten werden m.E. nicht in diesem Sinne als Files heruntergeladen und vom Client gecacht, wie das z.B. mit Fotos passiert.
Herzlich,
Tom

Benutzeravatar
Martin Altmann
Foren-Administrator
Foren-Administrator
Beiträge: 15495
Registriert: Fr, 23. Sep 2005 4:58
Wohnort: Berlin
Hat sich bedankt: 6 Mal
Danksagung erhalten: 8 Mal
Kontaktdaten:

Re: Statistik Logfiles auswerten

Beitrag von Martin Altmann » So, 28. Jun 2020 10:26

Tom,
da zeigt mir das Testen mit einzelnen Browsern aber was anderes.
Wenn ich Änderungen an einer .css-Datei mache (oder einer .js-Datei), dann kann es sein, dass ein einfacher refresh im Browser nicht reicht (abhängig vom Browser). Meist schwenke ich dann auf einen anderen Browser um, um sicherzugehen (wenn der Fehler, der behoben wurde, nach der Änderung nicht weg ist).

Viele Grüße,
Martin
:grommit:
Webseite mit XB2.NET und ausschließlich statischem Content in Form von HTML-Dateien: https://www.altem.de/
Webseite mit XB2.NET und ausschließlich dynamischem Content in Form von in-memory-HTML: https://meldungen.altem.de/

Mitglied der XUG Osnabrück
stellv. Vorsitzender des Deutschsprachige Xbase-Entwickler e. V.

ramses
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 1883
Registriert: Mi, 28. Jul 2010 17:16
Hat sich bedankt: 1 Mal
Danksagung erhalten: 6 Mal

Re: Statistik Logfiles auswerten

Beitrag von ramses » Mo, 29. Jun 2020 7:00

Ob eine Datei vom Server geladen wird oder aus dem Browser Cache genommen wird kannst du im Browser mit F12 -> Netzwerkanalyse einfach überprüfen.
Das Verhalten selbst kannst du mit dem Header Eintrag "CacheControl" vollumfänglich selbst bestimmen.

siehe: https://developer.mozilla.org/en-US/doc ... he-Control

In den Beispielen von XB2net wird z.B. "max-age=86400" verwendet, bedeutet dass immer die Datei aus den Cache verwendet wird sofern Sie nicht länger als 86400 Sekunden im Cache steht.

Für wichtige Inhaltsdateien ist die Einstellungen "no-cache, no-store, must-revalidate" sinnvoll. Diese Erzwingt immer ein neues laden.

Natürlich hilft auch ein Löschen den Browser-Cache um die Dateien neu vom Server laden zu lassen.
Valar Morghulis

Gruss Carlo

Benutzeravatar
Jan
Marvin
Marvin
Beiträge: 13882
Registriert: Fr, 23. Sep 2005 18:23
Wohnort: 49328 Melle
Hat sich bedankt: 3 Mal
Danksagung erhalten: 4 Mal
Kontaktdaten:

Re: Statistik Logfiles auswerten

Beitrag von Jan » Mo, 29. Jun 2020 7:25

Martin,

genau deswegen machen wir das hier so, das die JS-Dateien eine Versionsnummer im Dateienamen mit bekommen. Dann ist das ein anderer Dateiname als bei der gecachten Version, und der Browser lädt die auf jeden Fall nach.

Ist zwar etwas mehr Aufwand in der Pflege der Dateien und des Codes, aber so sind wir sicher das die Kunden immer die aktuellsten Daten laden.

Jan
Mitglied der XUG Osnabrück
Mitglied der XUG Berlin/Brandenburg
Mitglied des Deutschsprachige Xbase-Entwickler e. V.

sammler0002
Cut&Paste-Entwickler
Cut&Paste-Entwickler
Beiträge: 33
Registriert: Mi, 23. Dez 2015 22:46
Hat sich bedankt: 4 Mal

Re: Statistik Logfiles auswerten

Beitrag von sammler0002 » Mo, 29. Jun 2020 8:26

Vielen Dank für die Antworten und Hinweise. Damit kann ich doch schon mal etwas anfangen :)

Schönen Start in die Woche wünsche ich Euch!
Grüße von Philipp

Benutzeravatar
Tom
Der Entwickler von "Deep Thought"
Der Entwickler von "Deep Thought"
Beiträge: 8177
Registriert: Do, 22. Sep 2005 23:11
Wohnort: Berlin
Hat sich bedankt: 6 Mal
Danksagung erhalten: 25 Mal
Kontaktdaten:

Re: Statistik Logfiles auswerten

Beitrag von Tom » Mo, 29. Jun 2020 9:30

Hallo, Martin.
da zeigt mir das Testen mit einzelnen Browsern aber was anderes.
Ich meine das auch eher, wie soll ich sagen, metaphysisch. Ein eingebundenes JPG ist Bestandteil des zu rendernden Dokuments, CSS-Klassen - ob nun eingebettet oder extern - und JavaScript-Komponenten befinden sich auf einer anderen Ebene, gehören eher zur Dokumentenbeschreibung. Das dürfte m.E. auch qualitativ einen Unterschied machen. Und, klar, für den Browsercache ist es dasselbe.
Herzlich,
Tom

Antworten