Clustern eines Mess/Sensordatenstromes

Eure Spielwiese.


BlackDevil
Forum-Century
Forum-Century
Beiträge: 107
Registriert: Di 23. Jul 2013, 11:38
Wohnort: Deutschland

Clustern eines Mess/Sensordatenstromes

Beitrag von BlackDevil »

Hallo zusammen!

Hier sind ja Leute aus allen möglichen Richtungen unterwegs. Deshalb möchte ich hier eine Frage außerhalb von LaTex stellen.

Ich versuche erstmal das Problem zu schildern ...
Aus einer Anlage werden insgesamt 400 Sensoren mit einer Abtastrate von 1S/(2sec) per OPC abgetastet. Die Datenakquise soll über mehrere Tage andauern. Nach dem die Daten eingesammelt und in einem Excel-File gespeichert wurden, sollen die Daten geclustert werden, das macht ein zweites Programm in das die Daten geladen werden. Clustern beduetet in diesem Fall das ein Datensatz (also die jeweilige Menge Daten von Sensor n) in seiner Menge reduziert wird, in dem redundante Datenpunkte rausgeschmissen werden. Der Algorithmus des Programmes, welcher auch immer das ist, berücksichtigt dabei sowohl den Messbereich des Sensors als auch den Messfehler. Der Hersteller spricht davon, das herkömmliche Clusteralgorithmen einen starren Fehlerradius auf alle Messpunkte anwenden, was das berücksichtigen des Messfehlers unmöglich mache.
So. Programm 1, das wir für die Datenakquise verwenden, erlaubt das Einbinden von "benutzerspezifischem Programmcode", zum Beispiel in Basic, C/C++ oder Delphi.

Das bringt mich darauf den Datenstrom online zu Clustern, also während der Datenakquise. In meiner bisherigen Recherche konnte ich nur den k-Means Clusteralgorithmus mit "Online Derivat" finden.

Die Geschwindigkeit des Algorithmus sehe ich als unkritisch. Wenn die Samplerate kleiner ist als die Zeit die der Algorithmus braucht, dann kann ich genauso gut eine temporäre Tabelle mit Messwerten Anlegen und diese nach und nach Clustern und anschließend löschen. Speicherplatz ist nicht das Problem, nur die Datenmenge und das was wir damit vorhaben (die Rechenzeit der eigentlichen Aufgabe konnte mithilfe des Clusterings von Programm 2 massiv gesenkt werden). Wichtiger ist die Genauigkeit.

Daher möchte ich hier die Frage(n) stellen:
Welche Algorithmen bzw. Verfahren zum online Clustering gibt es? Mit welchem ist es möglich Messbereiche und -unsicherheiten/-fehler zu berücksichtigen? Und welche Quellen kann ich zu Rate ziehen? Bücher sind gerne Willkommen ...

Für sachdienliche Hinweise bin ich wie immer dankbar :)

BlackDevil
Forum-Century
Forum-Century
Beiträge: 107
Registriert: Di 23. Jul 2013, 11:38
Wohnort: Deutschland

Beitrag von BlackDevil »

Niemand?

Antworten