Über die Ermöglichung kollaborativer Nichterfüllung

Jun 19, 2024

Scientific Reports Band 13, Artikelnummer: 6569 (2023) Diesen Artikel zitieren

771 Zugriffe

3 Altmetrisch

Details zu den Metriken

Die Verbesserung der Energieeffizienz ist ein entscheidender Aspekt beim Aufbau einer nachhaltigen Smart City und im weiteren Sinne relevant für die Verbesserung des ökologischen, wirtschaftlichen und sozialen Wohlergehens. Non-intrusive Load Monitoring (NILM) ist eine Computertechnik, die den Energieverbrauch in Echtzeit schätzt und dazu beiträgt, das Energiebewusstsein der Benutzer zu schärfen, um das Energiemanagement zu erleichtern. Bei den meisten NILM-Lösungen handelt es sich immer noch um einen Einzelmaschinenansatz, der sich nicht gut für Smart Cities eignet. Diese Arbeit schlägt ein modellunabhängiges hybrides föderiertes Lernrahmenwerk vor, um NILM-Modelle für stadtweite Energiesparanwendungen gemeinsam zu trainieren. Das Framework unterstützt sowohl zentralisierte als auch dezentrale Trainingsmodi, um Benutzern eine Cluster-basierte, anpassbare und optimale Lernlösung bereitzustellen. Der vorgeschlagene Rahmen wird anhand eines realen Energiedisaggregationsdatensatzes evaluiert. Die Ergebnisse zeigen, dass alle in unserem vorgeschlagenen Framework trainierten NILM-Modelle die lokal trainierten Modelle hinsichtlich der Genauigkeit übertreffen. Die Ergebnisse legen auch nahe, dass die in unserem Framework trainierten NILM-Modelle resistent gegen Datenschutzlecks sind.

Ungefähr 55 % der Weltbevölkerung leben in städtischen Gebieten, und es wird erwartet, dass dieser Anteil bis 2050 auf 68 % ansteigt1. Mit der anhaltenden Expansion der Städte wird es immer wichtiger, die verfügbaren Ressourcen zu verwalten, um die Nachhaltigkeit städtischer Systeme zu gewährleisten um den ständig steigenden Bedürfnissen der städtischen Bevölkerung gerecht zu werden. Die jüngsten Fortschritte im Internet der Dinge, beim Edge Computing und beim maschinellen Lernen bieten Hardware- und Softwareunterstützung, um den Weg zu nachhaltigen Smart Cities zu ebnen2. Eine der großen Herausforderungen bei der Verwirklichung nachhaltiger Smart Cities besteht darin, den steigenden Bedarf an elektrischer Energie zu decken. Zur Überwindung dieser Schwierigkeit wurden verschiedene Ansätze3,4,5 entwickelt, doch das gemeinsame Element dieser Ansätze besteht darin, den Verbrauchern ihren detaillierten Stromverbrauch bewusst zu machen. Frühere Studien6,7 zeigen, dass Informationen auf Geräteebene dazu beitragen können, den Energieverbrauch zu senken, indem sie das Bewusstsein der Verbraucher schärfen und neue energiesparende Anwendungen für nachhaltige Smart Cities ermöglichen.

Der Energieverbrauch einzelner Geräte kann mithilfe von Non-Intrusive Load Monitoring (NILM) ermittelt werden, einer Berechnungsmethode zur Identifizierung des Gerätestatus und zur Extraktion des Stromverbrauchs auf Geräteebene aus aggregierten Leistungsdaten. Die aggregierten Daten werden nur an einer einzigen zentralen Stelle überwacht, beispielsweise am Stromzähler eines Gebäudes oder Hauses. NILM kann die feinkörnigen Energieverbrauchsinformationen bereitstellen, die von Smart-Grid-Systemen, einem wesentlichen Bestandteil intelligenter Städte, benötigt werden, um eine Kohorte für eine bessere Servicebereitstellung zu bilden. Es bietet Online-Feedback zum Energieverbrauch von Haushalten, damit Benutzer sich über die Situation im Klaren sind und ihnen helfen können, ihr Nutzungsverhalten bei Bedarf zu ändern. Diese Informationen können auch dabei helfen, netzseitige Nachfragereaktionsstrategien zur Optimierung der Stromerzeugung und -verteilung zu entwickeln. Diese paarweisen Interaktionen fördern den Fortschritt intelligenter Städte, Energieeinsparungen und nachhaltige Entwicklung. Im Laufe der Jahre wurden mithilfe von Hidden-Markov-Modellen, Temporal Motiv Mining oder anderen kombinatorischen Optimierungstechniken verschiedene experimentell realisierbare Lösungen entwickelt. Aufgrund ihrer überlegenen Leistung in verschiedenen Anwendungen in mehreren Disziplinen haben Forscher in letzter Zeit ihre Aufmerksamkeit auf Modelle des maschinellen Lernens gerichtet. Viele Deep-Learning-basierte Algorithmen8,9,10 und Gradient-Boosting-Algorithmen11,12 wurden für NILM-Anwendungen entwickelt und übertrafen die herkömmlichen Modelle in Bezug auf Genauigkeit und Effizienz.

Die meisten bestehenden NILM-Ansätze stehen immer noch vor erheblichen Herausforderungen, die ihren breiten Einsatz für nachhaltige Smart Cities behindern. Erstens benötigen NILM-Modelle umfangreiche Trainingsdaten, um repräsentative statistische Merkmale zu erlernen und eine hohe Leistung zu erzielen. Herkömmliche Ansätze gehen dieses Problem an, indem sie Daten von Beteiligten für ein zentralisiertes Modelltraining sammeln, wobei potenziell kostspielige Datenübertragungen sowie Datenschutz- und Sicherheitsprobleme sie von der praktischen Nutzung ausschließen. In den letzten Jahren wurde föderiertes Lernen vorgeschlagen13, um ein globales Modell gemeinsam zu trainieren, ohne die Rohdaten der Beteiligten auszutauschen. Die bestehenden NILM-Lösungen für föderiertes Lernen sind auf Deep Learning in einer zentralen Umgebung ausgerichtet14,15,16. Der zentrale Server koordiniert alle Beteiligten, um ein neuronales Netzwerkmodell zu trainieren. Diese Methoden können in Experimenten die gewünschte Leistung erzielen, sind in realen Szenarien jedoch fehleranfällig. Zentralisiertes föderiertes Lernen weist im Allgemeinen eine schlechte Skalierbarkeit auf, da die Ressourcenbeschränkungen den zentralen Knoten bei der Verarbeitung großer Clients zu einem Leistungsengpass machen. Die komplexe Struktur des Deep-Learning-Modells und die damit verbundenen Hyperparameter erfordern außerdem einen hohen Rechenaufwand beim Training und bei der Inferenz, wodurch es weniger für die Ausführung auf Geräten mit begrenzten Ressourcen geeignet ist. Darüber hinaus wird im Allgemeinen davon ausgegangen, dass es sich bei der Kundendatenverteilung um eine nicht unabhängige und identische Verteilung (Nicht-IID) handelt, da sie hinsichtlich Menge und Verteilung äußerst inkonsistent ist. Die Nicht-IID-Verteilung kann möglicherweise unterschiedliche Aktualisierungsfaktoren für die Client-Modelle beitragen und zu einer schlechten globalen Modellanpassung führen17. In neueren Arbeiten wurde versucht, diese Probleme durch Transferlernen und Filterbereinigung anzugehen18. Diese Arbeiten können die Natur von Deep-Learning-Modellen, die für das Training umfangreiche Daten und Rechenleistung erfordern, nicht grundlegend ändern. Zweitens konzentrieren sich die meisten Studien10,19,20 auf die langfristige (mehr als eine Stunde) Energiedisaggregation, was natürlich eine lange Abfolge von Hauptmesswerten für jede Analyse erfordert. Die Analysegeräte benötigen erheblichen Speicherplatz, um solch lange Messwerte verwalten zu können. Schließlich handelt es sich bei den Daten für das Training von NILM-Modellen um die von Benutzern erfassten und nahezu in Echtzeit erfassten Stromverbrauchswerte. Die Messwerte enthalten die instrumentellen Aktivitäten aller Geräte, einschließlich Ein- und Ausschalten und Betriebsartenumschaltung. Frühere Arbeiten21,22,23 zeigen, dass es mithilfe eines standardmäßigen statistischen Ansatzes technisch möglich ist, die Nutzungsmuster und Verhaltensweisen der Benutzer aus den Messwerten offenzulegen, wie z. B. Schlafgewohnheiten, Essensgewohnheiten usw. Die aktuellen Ansätze stützen sich stark darauf Verschlüsselung und differenzielle Datenschutztechniken zur Verhinderung von Datenlecks24,25. Der unvermeidliche zusätzliche Rechenaufwand beim Modelltraining belastet das System und beeinträchtigt sogar die Modellleistung zur Laufzeit. Darüber hinaus umfasst eine Stadt Benutzer mit unterschiedlichen Verhaltensweisen und Aktivitäten. Die Daten dieser Benutzer können unterschiedliche statistische Verteilungen aufweisen. Es gibt keine einfache, kostengünstige und sichere Möglichkeit, all diese Daten zusammenzuführen und als Ganzes arbeiten zu lassen.

In dieser Arbeit schlagen wir ein modellunabhängiges hybrides föderiertes Lernrahmenwerk für NILM-Anwendungen vor, um die oben genannten Herausforderungen in nachhaltigen Smart Cities zu bewältigen. Mit Hybrid meinen wir, dass unser Framework sowohl zentralisierte als auch dezentrale föderierte Lernmodi unterstützt. Der Hauptunterschied besteht darin, dass im zentralisierten Modus ein Server zur Koordinierung des Modelltrainings verwendet wird, während im dezentralen Modus kein solcher Server beteiligt ist. Im dezentralen Modus sind Clients über ein dezentrales Netzwerk verbunden. Jeder Kunde führt ein lokales Modelltraining durch und aggregiert Modelle von anderen Kunden. Ein asynchroner Modellaggregationsmechanismus kann auch verwendet werden, um das Trainingsprotokoll im laufenden Betrieb zu verfeinern, was dem System weitere Flexibilität verleiht. Durch die doppelte Unterstützung von Trainingsmodi kann unser Framework Endbenutzern die gewünschte Umgebung bieten, um Leistung, Skalierbarkeit, Robustheit oder eine Kombination davon für ihre NILM-Anwendungen zu erwerben. Mit modellagnostisch meinen wir, dass unser Framework das Training neuronaler Netzwerkmodelle und GBDT-Modelle (Gradient Boosting Decision Tree) unterstützt. Neuronale Netzwerkmodelle erreichen Spitzenleistungen bei der Energiezerlegung und ihr Trainingsprozess passt gut zum verteilten Lernen. Diese Modelle erfordern im Allgemeinen erhebliche Rechenressourcen für das Training solcher Szenarien. Einige neuere Arbeiten zeigten auch, dass es während der Ausführung zu Datenschutzverlusten kommen kann, was sie nicht zur Allroundlösung für die Unterstützung von NILM-Anwendungen macht. GBDT hingegen übernimmt die einfache Struktur von Baummodellen und teilt während des Trainings weniger Parameter, wodurch es ressourcenschonender und sicherer wird. Die Verwendung von GBDT in unserem Framework ist durch seine früheren Ergebnisse bei nichtlinearen Regressionsproblemen mit geringer Rechenkomplexität motiviert26,27. Unser Framework berücksichtigt die nicht unabhängigen und identischen Verteilungsdaten (Nicht-IID) zwischen Clients zur Modellleistung, indem es Benutzer mit ähnlicher Energieverbrauchsverteilung in einem Trainingscluster zusammenfasst. Wir führen außerdem eine kurzfristige Energiedisaggregationsstrategie in unser Framework ein, indem wir die in der Sequenz-zu-Punkt-Analyse verwendete Fenstergröße verkleinern. Diese Strategie kann die Kosten für die Datenverwaltung auf lokalen Geräten erheblich senken und gleichzeitig eine Entscheidungsfindung zum Energiemanagement in Echtzeit ermöglichen.

Zu den Hauptbeiträgen dieses Papiers gehören:

Wir schlagen ein modellunabhängiges hybrides föderiertes Lernrahmenwerk vor, um ein flexibles, effizientes und sicheres Mittel zum Trainieren von NILM-Modellen in nachhaltigen Smart Cities bereitzustellen. Es unterstützt das Training tiefer neuronaler Netze und Gradient Boosting Tree-Modelle im zentralisierten Verbundlernmodus und tiefer neuronaler Netze im dezentralen Verbundlernmodus.

Die Leistung des vorgeschlagenen Rahmenwerks wird empirisch anhand eines realen Energiedatensatzes bewertet. Die Ergebnisse zeigen, dass NILM-Modelle, die in unserem vorgeschlagenen Framework für alle Trainingsmodi trainiert wurden, die lokal trainierten Modelle hinsichtlich der Genauigkeit übertreffen.

Wir führen umfangreiche Experimente durch, um die Wirksamkeit einer hochmodernen Gradientenangriffsmethode gegenüber unserem föderierten Lernrahmen mit NILM-Anwendungen zu untersuchen. Wir sind der Meinung, dass unser vorgeschlagenes Framework die Privatsphäre der Benutzer vor Gradientenangriffen schützen kann und vielversprechende Ergebnisse liefert.

In diesem Abschnitt stellen wir das Design unseres vorgeschlagenen hybriden föderierten Lernrahmens für NILM-Anwendungen vor.

Das Design unseres vorgeschlagenen hybriden föderierten Lernrahmens für NILM-Anwendungen.

Unser Ziel ist es, ein modellunabhängiges hybrides föderiertes Lernrahmenwerk für stadtweite NILM-Anwendungen vorzuschlagen. Das in Abb. 1 dargestellte Framework gruppiert Kunden zunächst entsprechend ihrer Ähnlichkeit im Stromverbrauch und ihren Rechenressourcen in Cluster. Für jeden Trainingscluster werden der geeignete föderierte Lernmodus (zentralisiert oder verteilt) und das am besten geeignete Modell für maschinelles Lernen ermittelt. Unser Framework kann nun das Training tiefer neuronaler Netze und Gradient Boosting Tree-Modelle im zentralisierten Verbundlernmodus und tiefer neuronaler Netze im dezentralen Verbundlernmodus unterstützen. Wir entwickeln eine kurzfristige Energiezerlegungsstrategie, die niederfrequente Leistungsmesswerte analysiert, indem die Fenstergröße reduziert wird, die bei der Sequenz-zu-Punkt-Analyse verwendet wird. Die kurzfristige Strategie kann Energiemanagemententscheidungen in Echtzeit unterstützen, die Datenverwaltungskosten senken und ist weniger von Hardwarefunktionen abhängig.

Es ist unpraktisch zu erwarten, dass die Verbrauchsdaten der Benutzer in föderierten Lernszenarien immer unabhängig und identisch verteilt (IID) sind. Bei den lokal berechneten Gradienten handelt es sich wahrscheinlich um verzerrte Schätzungen globaler Gradienten, was eine schnellere Konvergenz und eine bessere Leistung vor Herausforderungen stellt. Um einer solchen nicht-IID-Herausforderung zu begegnen, führen wir Clustering über verschiedene Clients durch und gruppieren Benutzer mit ähnlichen statistischen Mustern in demselben Cluster für das Modelltraining. Unser Clustering-Ansatz trägt auch der Wahrung der Privatsphäre Rechnung, indem er die Markov-Übergangswahrscheinlichkeiten anstelle von Rohlastmessungen austauscht. Inspiriert durch das Markov Transition Field (MTF)28 konvertieren wir die Zeitreihenlastmessungen der Kunden in Markov-Matrizen. Der Eingaberaum der Stromverbrauchsfolge \(\{x_1 \ldots x_n\}\) wird als Q-Quantil-Bins diskretisiert und jedes Element der Folge wird einem Quantil zugewiesen. Beispielsweise bezeichnen \(q_i\) und \(q_j\) (\(q\in [1,Q]\)) die Quantile von \(x_i\) und \(x_j\). Das Element \(M_{ij}\) der Markov-Matrix M kann durch die Übergangswahrscheinlichkeit von \(q_i\) zum Quantil \(q_j\) berechnet werden. Mit den Markov-Matrizen der beteiligten Kunden kann die Clustering-Phase dann mithilfe von TS-SOM (Tree Structured Self-Organizing Maps)29 durchgeführt werden. TS-SOM unterteilt die generierten Matrizen als hierarchische Clustering-Methode in mehrere Gruppen, indem es jeden Baumknoten einem standardmäßigen neuronalen SOM-Netzwerk zuordnet. Das Clustering wird iterativ von der Wurzel bis zu den Blättern durchgeführt, bis die voreingestellte Baumtiefe erreicht ist. Auf der untersten Ebene des Baums stellt jedes Blatt eine Gruppe von Clients dar, die gemeinsam ein NILM-Modell trainieren.

Im zentralisierten föderierten Lernmodus wird der Modelltrainingsprozess jedes Clusters von einem zentralen Server koordiniert, der von einem vertrauenswürdigen Dritten gehostet wird. In diesem Modus verwaltet jeder Client ein lokales Modell für jede Appliance und aktualisiert das Modell mit seinen lokal verfügbaren Daten. In der Zwischenzeit verwaltet der zentrale Server ein globales Modell für jede Appliance und aktualisiert die globalen Modelle, indem er die aktualisierten lokalen Modelle aller entsprechenden Clients aggregiert. Im Folgenden stellen wir die Verfahren zum Training tiefer neuronaler Netze und Gradienten-Boosting-Bäume im zentralisierten föderierten Lernmodus näher vor.

Das Training eines tiefen neuronalen Netzwerkmodells im zentralisierten föderierten Lernmodus besteht aus zwei Teilen: Serverausführung und lokale Aktualisierungen des Clients. Bei lokalen Client-Updates trainieren alle Clients das Modell parallel und übergeben das aktualisierte Modell am Ende des Trainingsprozesses an den Server. Die Serverausführung wird während des gesamten Trainingsprozesses durchgeführt und aggregiert kontinuierlich das lokal aktualisierte Modell. Die Serverausführung beginnt damit, dass der zentrale Server die globalen Modelle \(\omega _{0}\) initialisiert und gleichzeitig das Trainingsprotokoll basierend auf den verfügbaren Rechenressourcen definiert. Das Trainingsprotokoll definiert die Aufteilung zwischen Training und Test, die Lernrate \(\eta \), die lokale Trainingsstapelgröße B und die lokalen Trainingsepochen E. Jeder Client bereitet sich auf das Training vor, indem er seinen lokalen Datensatz in einen Trainingssatz und einen Test aufteilt entsprechend dem Trainingsprotokoll eingestellt. Der Trainingssatz ist weiter in \(\frac{N}{B}\) Trainingsstapel unterteilt, wobei N die Größe des Trainingssatzes ist. Innerhalb jeder Trainingsiteration t führt jeder Client parallel eine lokale Aktualisierung durch. Clients fordern zunächst die neuesten globalen Modelle vom zentralen Server an, um ihre lokalen Modelle zu aktualisieren. Jeder Client trainiert die lokalen Modelle mithilfe seines Trainingsdatensatzes für E-Epochen. Wenn das lokale Training abgeschlossen ist, wird die Leistung des aktualisierten lokalen Modells anhand des Testsatzes bewertet. Das Auswertungsergebnis und das aktualisierte lokale Modell werden zur Aktualisierung des globalen Modells an den zentralen Server gesendet. Der zentrale Server aktualisiert das globale Modell \(\omega _{t}\) über den Verbundmittelungsalgorithmus, der eine gewichtete Aggregation aller Clientmodelle durchführt. Jedem Modell wird eine Gewichtung \( \frac{N_{i}}{ \sum _{j}^{C}N_{j}}\ zugewiesen, wobei \(n_i\) die Anzahl der Daten bezeichnet, die Client i besitzt , C ist die Anzahl der Kunden im Trainingscluster. Schließlich prüft der zentrale Server anhand des Bewertungsergebnisses der Clients in dieser Trainingsrunde, ob die Beendigungsbedingung erreicht ist. Die Algorithmus-Pseudocodes werden in Algorithmus 1 und Algorithmus 2 gezeigt.

Der entscheidende Teil der gemeinsamen Erstellung eines Baummodells besteht darin, die beste Aufteilung im Feature-Space-Punkt für alle Clients im Cluster zu finden, ohne jedoch deren Rohdaten zu teilen. Um dieses Ziel zu erreichen, implementieren wir ein föderiertes Gradienten-Boosting-Entscheidungsbaummodell30, bei dem Gradientenhistogramme zwischen Clients und dem zentralen Server geteilt und als Trainingsdaten für die Modellkonstruktion verwendet werden. Jedes dieser Histogramme stellt die Gradientenstatistik eines bestimmten Merkmals der Trainingsdaten dar. Das Histogramm wird durch die Zuordnung von Farbverläufen in mehrere Buckets erstellt. Ein Quantil-Skizzenalgorithmus30 wird verwendet, um das \(Q-1\)-Quantil für jedes Feature zu bestimmen. Diese Quantile sind die Schnittpunkte, um den Merkmalswertbereich in Q-Buckets zu unterteilen. Ähnlich wie das Deep Neural Network-Modell besteht das GBDT-Modell aus zwei Teilen: Central Server Execution und Client Compute Histogram. Der Prozess des GBDT-Trainings im zentralisierten föderierten Lernmodus wird in Algorithmus 3 und 4 gezeigt. In der Initialisierungsphase definiert der zentrale Server die Trainingsparameter des Baumwachstumsalgorithmus und koordiniert alle Clients, um den Quantilskizzenalgorithmus auszuführen, um den zu finden Quantil der Histogramme für jedes Feature. Jeder Client berechnet während des Node-Split-Prozesses parallel Gradientenhistogramme für jedes Feature, indem er seine lokalen Trainingsdaten entsprechend den entsprechenden Feature-Werten der Trainingsdaten in Buckets abbildet. Die Verlaufshistogramme werden an den zentralen Server übermittelt. Sobald der zentrale Server alle Verlaufshistogramme empfängt, aggregiert er die Histogramme jedes Features und durchsucht alle aggregierten Histogramme nach dem Teilungspunkt. Der Knoten wird dann in zwei Knoten aufgeteilt und der zentrale Server beginnt, die Aufteilung des nächsten Knotens zu koordinieren. Der Baumwachstumsprozess wird beendet, wenn die Stoppkriterien erfüllt sind.

Der zentrale Server ist nicht mehr erforderlich, um die kollaborative Modellkonstruktion im dezentralen föderierten Lernmodus zu koordinieren. Stattdessen wird das Modell durch Peer-to-Peer-Kommunikation zwischen Clients erstellt und die Details werden in Algorithmus 5 gezeigt. Wir gehen davon aus, dass Clients in einem Trainingscluster ein vollständig verbundenes Netzwerk bilden, was bedeutet, dass Informationen zwischen zwei beliebigen Clients gesendet werden können. Jeder Client muss sowohl ein lokales Modelltraining als auch eine Modellaggregation durchführen. Bevor das Training beginnt, muss jeder Kunde die folgenden Schritte ausführen: Initiieren des lokalen Modellparameters mit demselben Zufallsstartwert, Aufteilen seines lokalen Datensatzes in einen Trainingssatz und einen Testsatz sowie Einrichten eines Trainingsprotokolls für die erste Runde. Zur Verbesserung der Flexibilität und Sicherheit des Frameworks werden ein asynchroner Modellaggregationsmechanismus und ein dynamisches Trainingsprotokoll vorgeschlagen. Das Framework ermöglicht es Kunden, das Trainingsprotokoll im Handumdrehen anhand ihres Netzwerkstatus und der verfügbaren Rechenressourcen zu verfeinern. Die Modellaggregation kann unmittelbar nach Abschluss des lokalen Trainingsprozesses eines Clients durchgeführt werden, ohne den Status anderer Clients zu berücksichtigen. Die Anforderungen für die gemeinsame Modellaktualisierung werden während des Modellaggregationsprozesses zufällig an K andere Clients im selben Cluster gesendet. Die angefragten Kunden senden ihre lokalen Modelle aus, während sie den Trainingsprozess fortsetzen. Nachdem der Client alle Modelle erhalten hat, bewertet er mithilfe des lokalen Testsatzes die Leistung aller empfangenen Modelle und der lokalen Modelle. Jedem Modell wird entsprechend seiner Reaktion auf den Testsatz eine leistungsbasierte Gewichtung zugewiesen. Der Kehrwert des Fehlers wird als Gewicht des Modells verwendet, denn je kleiner der Fehlerwert in unseren Experimenten ist, desto besser ist die Modellleistung. Das Gewicht ist definiert als \(\frac{L_{k}^{-1}}{\sum _{i=1}^{K+1}L_{i}^{-1}}\), wobei \ (L_k\) ist die MAE des Modells von Client k auf dem Testsatz des Clients, der gerade die Aggregation durchführt. Das lokale Modell wird durch einen gewichteten Durchschnitt aller Modelle aktualisiert, gefolgt vom Beginn einer neuen Trainingsrunde.

In diesem Abschnitt stellen wir zunächst den Datensatz REFIT31 (Personalised Retrofit Decision Support Tools For UK Homes Using Smart Home Technology) vor, der für die Durchführung der Experimente verwendet wurde, gefolgt von den Leistungsmetriken, die zur Messung der Qualität und des Nutzens unseres Ansatzes verwendet werden. Anschließend präsentieren wir den Aufbau unserer experimentellen Studien, einschließlich Hardware und Software. Wir haben umfassende Experimente durchgeführt, um unser vorgeschlagenes Framework aus zwei Perspektiven zu bewerten: Leistung und Datenschutzbewusstsein. Für die leistungsbezogenen Bewertungen haben wir die Trainingsfehlerkonvergenz und die NILM-Disaggregationsleistung unseres vorgeschlagenen föderierten Lernrahmens sowohl im zentralen als auch im dezentralen Modus sorgfältig untersucht. Der Einfachheit halber verwenden wir den Begriff „zentral trainiert“, der sich auf Modelle bezieht, die im zentralisierten Modus trainiert wurden, und „verteilungstrainiert“ bezieht sich auf Modelle, die im dezentralen Modus trainiert wurden. Für die Bewertungen des Datenschutzbewusstseins haben wir die Wirksamkeit eines Gradientenangriffs auf NILM-Anwendungen in unserem Framework untersucht. Wir haben gezeigt, dass der Gradientenangriff ohne explizite Mechanismen zum Schutz der Privatsphäre wahrscheinlich keine wertvollen Informationen von unserem Framework erhalten wird.

Der REFIT-Datensatz zur Stromlastmessung31 ist einer der vier öffentlich verfügbaren REFIT-Datensätze. Es enthält Rohdaten zum Stromverbrauch von 20 Haushalten in Loughborough, Großbritannien, von 2013 bis 2015 sowohl auf Gesamt- als auch auf Geräteebene. Die Daten wurden in Watt gemessen und in 8-Sekunden-Intervallen abgetastet. Wir haben die Datensätze von fünf Häusern verwendet und fünf häufig verwendete Geräte ausgewählt, nämlich Geschirrspüler, Kühlschrank, Waschmaschine, Mikrowelle und Wasserkocher, um insgesamt 25 Datensätze für das Modelltraining zu bilden. Das Sequence-to-Point-NILM-Modell ist für die Verarbeitung der Rohdaten des Stromverbrauchs konzipiert. Die aggregierten Verbrauchssequenzen wurden anhand einer Fenstergröße von 19 Datenstichproben segmentiert. Jede segmentierte Teilsequenz entspricht dem Verbrauch einer einzelnen Appliance-Ebene an ihrem Mittelpunkt. Für jeden der 25 Datensätze wurden 80 % der Proben für das Modelltraining und der Rest für Tests verwendet.

Wir haben unseren Algorithmus mit PyTorch auf Google Colab implementiert, das Rechenressourcen einer Intel Xeon-CPU mit 4 x 2,30 GHz, 16 GB RAM und einer NVIDIA Tesla P100-Grafikkarte mit 16 GB VRAM bereitstellt. Alle Experimente wurden in Ubuntu 18.04 durchgeführt. Ein Convolutional Neural Network (CNN32)-Modell mit fünf Faltungsschichten, gefolgt von zwei linearen Schichten und ein Gradient Boosting Decision Tree (GBDT33)-Modell wurden zum Trainieren von Sequence-to-Point-NILM-Modellen verwendet. Die Hyperparameter für das Training dieser Modelle sind in Tabelle 1 aufgeführt, sofern nicht anders angegeben. Bei allen gemeldeten Datenpunkten handelt es sich um einen Durchschnitt von 500 Hinrichtungen.

Wir nutzten die Trainingskonvergenz der Modelle, um die Wirksamkeit und Stabilität des vorgeschlagenen Rahmenwerks zu bewerten. Die Trainingsfehler werden am Ende jeder Trainingsrunde aufgezeichnet und die Lernkurve wird aufgezeichnet, um den Konvergenzstatus verschiedener Modelle für maschinelles Lernen zu überprüfen. Der Trainingsverlust wird durch RMSE bewertet, das die Standardabweichung des Trainingsfehlers gemäß Gleichung (1) misst. RMSE ist rechnerisch einfach und leicht verständlich und dient als Zielfunktion für das Modelltraining. Wir haben außerdem vier weitere Leistungsmetriken verwendet, um die Leistung des Frameworks unter verschiedenen Gesichtspunkten zu bewerten. Die Disaggregationsleistung von NILM-Modellen wird in NILM-Studien anhand der drei häufig verwendeten Metriken MAE, SAE und NDE bewertet34,35. Der mittlere absolute Fehler (MAE) gibt den durchschnittlichen absoluten Fehler zwischen der Modellvorhersage und dem tatsächlichen Wert an. Es ist formal als Gleichung (2) definiert, wobei y und \(\hat{y}\) den vorhergesagten Wert bzw. den tatsächlichen Wert darstellen. Der Signalaggregatfehler (SAE), wie in Gleichung (4) dargestellt, misst die relative Differenz zwischen dem gesamten vorhergesagten Energieverbrauch und dem tatsächlichen Wert in einem bestimmten Zeitraum T. Gleichung (5) definiert mathematisch den normalisierten Disaggregationsfehler (NDE), der bezeichnet der normalisierte Fehler zwischen dem vorhergesagten Verbrauch und den tatsächlichen Messwerten. Der mittlere relative Fehler (MRE) wird ausschließlich bei der Bewertung von Datenschutzlecks verwendet, definiert durch Gleichung (3), und stellt den Vorhersagefehler relativ zu beobachteten Werten dar. Es zeigt die Ähnlichkeit der wiederhergestellten Daten mit den tatsächlichen Daten, um das Risiko eines Datenschutzverlusts aufzudecken. Für alle Metriken gilt: Je niedriger der Wert, desto geringer ist die Abweichung zwischen Schätzungen und der vom Modell generierten Grundwahrheit.

In diesem Abschnitt wird die Leistung von Sequenz-zu-Punkt-NILM-Modellen in unserem vorgeschlagenen Framework im zentralisierten föderierten Lernmodus bewertet. Die Experimente wurden an einem Trainingscluster bestehend aus fünf Kunden durchgeführt. Zur Durchführung des zentralen Modelltrainings sind die Clients über einen zentralen Server verbunden. In jeder Trainingsrunde aktualisieren alle Clients zunächst ihre lokalen Modelle mithilfe der privaten lokalen Daten, und dann werden die aktualisierten Modelle zur Aggregation an den zentralen Server gesendet. Bitte beachten Sie, dass die Auswahl von fünf Klienten der Einfachheit der Interpretation der Ergebnisse geschuldet ist. Jeder Kunde verfügt über einen Trainingssatz derselben Größe. Wir gehen außerdem davon aus, dass jeder Kunde mit den gleichen Rechenressourcen ausgestattet ist und dem gleichen Trainingsprotokoll folgt. Die oben erwähnten CNN- und GBDT-Modelle wurden zur Durchführung von NILM verwendet, um den Betrieb der Geräte zu identifizieren. Um die Leistungsschwankungen unseres Frameworks im Laufe der Zeit zu vergleichen und zu überwachen, haben wir auch dieselben Modelle getestet, die auf dem lokalen Gerät trainiert und ausgeführt wurden, nur um dieselben Aufgaben auszuführen.

Konvergenz des Schulungsverlusts für das zentral geschulte CNN in fünf Häusern auf REFIT.

Vergleich der MAE zwischen zentral trainiertem CNN und lokal trainiertem CNN in fünf REFIT-Häusern.

Abbildung 2 zeigt die Trainingsverlustkonvergenzen der zentral trainierten CNN-Modelle in unserem Framework. Es ist ersichtlich, dass unser Framework stabile Trainingsverlustkonvergenzen auf allen Zielgeräten bietet. Dieses Ergebnis legt nahe, dass die zentral trainierten Modelle über starke Generalisierungsfähigkeiten innerhalb des Trainingsclusters verfügen. Das Framework kann eine stabile Konvergenz des Verlusts für die Ziel-Appliances garantieren, ohne einen Client zu gefährden, unabhängig von Appliance-Typen, der Anzahl der Appliances und Nutzungsmustern. Wir haben den Zerlegungsfehler beim Testen des Satzes zwischen dem zentral trainierten CNN-Modell und dem lokal trainierten CNN in Abb. 3 und Tabelle 2 verglichen. Wie in Tabelle 2 gezeigt, erzielen die zentral trainierten CNNs bei drei Bewertungsmetriken einen geringeren Zerlegungsfehler als die von lokal trainierten CNN-Modellen für die meisten Geräte. Abbildung 3 zeigt die MAE jedes Clients im Testsatz. Es ist deutlich zu erkennen, dass der MAE des zentral trainierten CNN in den meisten Fällen unter dem des lokal trainierten CNN-Modells liegt. Dieses Ergebnis legt nahe, dass das zentral trainierte CNN nicht nur einen insgesamt geringeren Zerlegungsfehler erzielt, sondern dass alle Clients im Trainingscluster durch den zentralisierten föderierten Lernmodus ein genaueres Energiezerlegungsmodell erhalten können. Das zentral trainierte CNN-Modell stellt tatsächlich eine bestehende Deep-Learning-basierte NILM-Lösung für föderiertes Lernen dar. Eine ähnliche Modellstruktur findet sich in14,36. Es dient als Basis für die nachfolgenden Vergleiche.

In diesem Abschnitt wird die Leistung der im dezentralen föderierten Lernmodus trainierten NILM-Modelle bewertet. Wir haben die Experimente mit den gleichen Aufgaben durchgeführt wie die zentralisierten föderierten Lernexperimente. Im dezentralen föderierten Lernmodus definiert jeder Client sein eigenes Trainingsprotokoll, um das lokale Modell während des Trainingsprozesses asynchron zu aktualisieren. Sobald ein Client die Modellaggregationsphase erreicht, erwirbt er Modelle von k anderen Clients im selben Cluster zur Modellaggregation gemäß einem gewichteten Durchschnitt von Werten, der die Leistung jedes Modells im lokalen Testsatz widerspiegelt. In den Experimenten untersuchten wir den Einfluss der Wahl von k auf die Konvergenz des Trainingsverlusts. Anschließend verglichen wir die Leistung der NILM-Algorithmen, die im zentralen Verbundlernen, im dezentralen Verbundlernen und im lokalen Modus trainiert wurden.

Abbildung 4 zeigt die Verlustkonvergenzen der im dezentralen Modus trainierten CNN-Modelle mit unterschiedlichem k. Obwohl der Trainingsfehler jedes Gerätemodells in allen Experimenten schnell konvergiert, besteht immer noch ein deutlicher Unterschied im lokalen Konvergenzprozess. Abbildung 4a zeigt die Konvergenzkurven, wenn k auf 1 gesetzt ist. Wir haben festgestellt, dass die Konvergenzkurven jedes Modells schnelle Schwankungen aufweisen, was besonders bei den Waschmaschinen- und Mikrowellenmodellen deutlich wird. Die Änderung der Konvergenzrate der Modelle erfolgt recht langsam, z. B. war das Spülmaschinenmodell nach 100 Trainingsrunden immer noch auf einem lokalen Minimum gefangen. Diese Probleme wurden jedoch durch die Erhöhung des Werts von k gemildert. Abbildung 4b und c zeigen die Konvergenzkurven, wenn k auf 2 bzw. 3 eingestellt ist. Wir können beobachten, dass die Kurven der Trainingsverlustkonvergenz mit dem Anstieg des k-Werts glatter wurden und die Modellkonvergenzkurve eine Tendenz zeigte, mit der Kurve übereinzustimmen, die aus dem zentralisierten föderalen Lernmodus erhalten wurde. Wir haben auch die Leistung der NILM-Modelle verglichen, die im dezentralen Modus und im zentralisierten Modus trainiert wurden. Um einen fairen Vergleich zu gewährleisten, setzen wir k auf 2, um die NILM-Modelle im dezentralen Modus zu trainieren. Tabelle 3 zeigt die bewertete Leistung der NILM-Modelle, die im dezentralen Modus auf den Testsätzen trainiert wurden, und Abb. 5 vergleicht die Leistung der NILM-Modelle, die in drei verschiedenen Modi trainiert wurden. Wir können sehen, dass die im dezentralen Modus trainierten Modelle die lokal trainierten Modelle deutlich übertreffen und hinsichtlich der Genauigkeit eine ähnliche Leistung wie die im zentralisierten Modus trainierten Modelle zeigen.

Konvergenz des Schulungsverlusts für den dezentralen föderierten Lernmodus mit unterschiedlichem k in fünf Häusern auf REFIT.

Vergleich der MAE zwischen distributiv trainiertem CNN, zentral trainiertem CNN und lokal trainiertem CNN in fünf Häusern auf REFIT.

In diesem Abschnitt haben wir die Leistung von GBDT im zentralisierten Trainingsmodus für die Sequenz-zu-Punkt-NILM-Probleme untersucht. Wir haben in den Experimenten auch lokal trainierte GBDT-Modelle und zentral trainiertes CNN als Benchmarks verwendet. Wie in Abb. 6 dargestellt, näherte sich der Trainingsverlust des zentral trainierten GBDT-Modells auf allen Clients schnell (in etwa 20 Epochen oder weniger) einem stabilen Wert an. Im Vergleich zum gleichen Test mit CNN, der in Abb. 2 dargestellt ist, übertrafen die GBDT-Modelle die CNN-Modelle deutlich, da die Verlustkurven in bemerkenswert kurzen Epochen sanft und kohärent auf die stabilen Zustände abfallen. Dieses Ergebnis legt nahe, dass die leichte Natur von GBDT weniger Parameter erfordert während des Trainings angepasst werden, wodurch die Modellkonvergenz schnell erfolgt. Wir haben auch die Leistung zwischen den zentral geschulten und den lokal geschulten GBDTs verglichen. Die Ergebnisse sind sowohl in Abb. 7 als auch in Tabelle 4 dargestellt. Es überrascht nicht, dass die Ergebnisse zeigen, dass der zentral trainierte GBDT den lokal trainierten in fast allen Aspekten übertraf. Wir glauben, dass der Leistungsunterschied darauf zurückzuführen ist, dass das zentral trainierte GBDT-Modell zusätzliches Wissen aus den Daten der anderen Mitglieder im Trainingscluster lernen kann, um seine Vorhersagegenauigkeit zu verbessern. In Abb. 7 haben wir auch beobachtet, dass das GBDT-Modell die Leistung auf dem neuesten Stand der Technik erreicht. Seine Leistung entsprach in unseren Tests gleichermaßen dem CNN-Modell. Noch wichtiger ist, dass das GBDT-Modell nur geringe Rechenressourcen verbrauchte. Wie in Tabelle 5 gezeigt, betragen die Modellgröße und die Inferenzzeit etwa 1/6 und 1/12 des CNN-Modells. Die obigen Ergebnisse zeigen, dass das GBDT-Modell genaue Vorhersagen liefern kann und dabei deutlich weniger Rechenressourcen benötigt. Diese einzigartigen Eigenschaften machen es zum besten Kandidaten für die Durchführung von NILM auf Geräten mit begrenzten Ressourcen.

Konvergenz der Ausbildungsverluste für zentral geschulte GBDT in fünf Häusern bei REFIT.

Vergleich der MAE zwischen zentral trainiertem GBDT, lokal trainiertem GBDT und zentral trainiertem CNN-Modell in fünf Häusern auf REFIT.

In diesem Abschnitt haben wir untersucht, wie sich der Clustering-Algorithmus auf die Leistung des Verbundlernmodells auf Clients auswirkt. Wir haben in den Clusterexperimenten mehr Clients verwendet, um den Algorithmus besser zu demonstrieren. Aus REFIT wurden zehn Häuser ausgewählt, die zehn einzelne Energieverbraucher repräsentieren, und durch den zuvor beschriebenen Clustering-Algorithmus in zwei gleich große Trainingscluster aufgeteilt. Das CNN-Modell wurde in unseren Experimenten zur Durchführung von NILM-Aufgaben verwendet. Wir haben das CNN-Modell in drei verschiedenen Szenarien getestet: 1) zentral trainiert mit nur den Daten des zugehörigen Clusters, 2) verteiltes Training nur mit den Daten des zugehörigen Clusters und 3) zentral trainiert mit allen Daten von zehn Häusern . Die trainierten Modelle wurden am Testsatz jedes Hauses getestet. Beachten Sie, dass das mit Daten aus allen zehn Häusern trainierte Modell doppelt so viele Trainingsdaten verwendet wie die anderen beiden Modelle.

Die Versuchsergebnisse sind unten dargestellt. Abbildung 8 zeigt den MAE-Vergleich zwischen zentral trainierten CNN-Modellen mit und ohne Clustering. Es ist nicht schwer zu erkennen, dass der Vorhersagefehler des Modells nach der Clusterbildung in den meisten Fällen abnahm. Der durchschnittliche MAE des mit Clustering trainierten Modells sank im Vergleich zum Modell ohne Clustering von 22,51 auf 21,02. Dieses Ergebnis zeigt, dass der Einsatz eines Clustering-Algorithmus dazu beitragen kann, die Diskrepanzen in der Verteilung der gruppierten Benutzerdaten zu verringern und die Gesamtleistung des Modells entsprechend zu verbessern. Abbildung 9 zeigt den MAE-Vergleich zwischen dem verteilt trainierten CNN-Modell mit Clustering und dem zentral trainierten CNN-Modell ohne Clustering. Wir können nach dem Clustering erneut eine deutliche Leistungsverbesserung beobachten. Das verteilt trainierte CNN-Modell, das in jedem Trainingscluster trainiert wird, reduziert den durchschnittlichen MAE um 0,53 im Vergleich zum nicht geclusterten zentralisierten Modell. Unsere Versuchsergebnisse deuten darauf hin, dass die Clusterung von Clients mit ähnlichen statistischen Verteilungen die Auswirkungen von Nicht-IID-Daten (unabhängig und identisch verteilt) auf das globale Modell abschwächen kann. Darüber hinaus haben wir festgestellt, dass die einfache Erhöhung der Anzahl der Clients nicht unbedingt die globale Modellleistung verbessert. Diese Erkenntnis widerspricht dem herkömmlichen gesunden Menschenverstand des maschinellen Lernens – je mehr Trainingsdaten, desto besser die Modellleistung. Beim föderierten Lernen kann jedoch eine einfache Kombination der Clients mit einer nicht-iid-Datenverteilung die Konvergenz des globalen Modells verlangsamen und die Leistung beeinträchtigen. Die naive Erhöhung der Trainingsdaten könnte kontraproduktiv sein und ist nicht die beste Strategie zur Leistungsverbesserung.

Vergleich der MAE zwischen zentral trainiertem CNN mit und ohne Clustering auf REFIT.

Vergleich der MAE zwischen verteilt trainiertem CNN mit Clustering und zentral trainiertem CNN ohne Clustering auf REFIT.

In diesem Abschnitt wurden umfassende Experimente durchgeführt, um die Wirksamkeit von Gradientenangriffen auf unser föderiertes Lernframework zu bewerten und die Risiken von Datenschutzlecks für NILM-Anwendungen zu analysieren.

Wir beginnen mit einer kurzen Einführung in den Gradientenangriff, gefolgt von den experimentellen Ergebnissen.

Deep Leakage from Gradients (DLG)37 ist eine optimierungsbasierte Methode, die rohe Trainingsdaten wiederherstellt, indem sie die zufällig initialisierten Dummy-Daten kontinuierlich anpasst und ihren Gradienten an den beobachteten Gradienten anpasst. Die Zielfunktion ist

wobei \(L(\triangledown W',\triangledown W)\) die Verlustfunktion darstellt, die die Ähnlichkeit zwischen dem Gradienten der Dummy-Daten \(\triangledown W'\) und dem tatsächlichen Gradienten \(\triangledown W\) misst. \(\ell (F(x', W), y')\) ist die Zielfunktion für tiefes Netzwerktraining. Es muss nur sichergestellt werden, dass \(\ell \) eine differenzierbare Funktion ist, die für die meisten maschinellen Lernaufgaben verwendet wird. Dieses Optimierungsproblem kann dann mithilfe einer standardmäßigen, auf Gradienten basierenden Methode gelöst werden.

Wir konzentrieren uns hauptsächlich auf den zentralisierten Trainingsmodus, da der dezentrale Trainingsmodus irgendwie so gesehen werden kann, dass jeder Kunde ein zentralisiertes Trainingsprogramm durchführt. Daher ist die Datenschutzbewertung für den zentralisierten Modus auch auf den dezentralen Modus anwendbar. Wir haben die Kosinusähnlichkeit zwischen den beobachteten und tatsächlichen Gradienten als Zielfunktion für den Gradientenangriff verwendet. Zur Lösung des Optimierungsproblems wurde der Adam-Optimierer verwendet. Bei jedem Experiment wurden mindestens 200.000 Iterationen durchgeführt, um sicherzustellen, dass die Verlustfunktion konvergierte. Wir haben die Wirksamkeit von Gradientenangriffen auf die Wiederherstellung von Trainingsdaten unter verschiedenen Einstellungen (z. B. Batchgröße, Modellkonvergenzstatus und verschiedene maschinelle Lernaufgaben) für föderiertes Lernen separat untersucht. Wir haben für die Tests die zentral trainierten CNN-Modelle verwendet, da dieser Modus anfälliger für Datenschutzverluste ist. Bei den Versuchsdaten handelte es sich um 24 zufällig ausgewählte Datensätze, die gleichermaßen aus Waschmaschine, Kühlschrank und Wasserkocher extrahiert wurden. Wir verwendeten MAE, MRE, SAE und NDE als Leistungsmetriken, um die Qualität der Angriffe zu messen.

Wir haben zunächst die Auswirkung der lokalen Batchgröße auf ein Basisszenario untersucht, in dem sich das Modell ohne Training im Anfangszustand befindet. Jeder Client speist einen kleinen Datenstapel ein, um das Modell in der lokalen Aktualisierungsphase zu aktualisieren, und sendet das aktualisierte Modell dann an den zentralen Server. Sobald der zentrale Server ein Modell von einem Client empfängt, kann er die Gradienten dieses Clients in der aktuellen Trainingsrunde ableiten, indem er die Gewichtsunterschiede zwischen dem globalen Modell und dem empfangenen Modell berechnet. Der zentrale Server stellt mithilfe des DLG-Algorithmus die Roheingaben und Beschriftungen des Clients aus dem Gradienten wieder her. Tabelle 6 zeigt den Fehler der durch den Gradientenangriff wiederhergestellten Trainingsdaten für verschiedene Aufgaben und verschiedene Stapelgrößen. Es ist leicht zu erkennen, dass der Gradientenangriff die Trainingsdaten effektiv wiederherstellen kann, wenn die Stapelgröße klein ist. Wenn die Batch-Größe beispielsweise 1 entspricht (Batch-Größe wird durch B1 bezeichnet), konzentrieren sich die Fehler der wiederhergestellten Trainingseingaben und Beschriftungen auf einen begrenzten Bereich. Mit zunehmender Stapelgröße nimmt jedoch der Fehler der wiederhergestellten Daten dramatisch zu. Wenn die Stapelgröße 8 beträgt, erreichen die MAE-Werte zwischen den wiederhergestellten Daten und den tatsächlichen Trainingsdaten in den Klassifizierungs- und Regressionstests 994,98 und 986,45. Mittlerweile erreichen die MRE-Werte 2,58 bzw. 3,55. Die wiederhergestellten Datenfehler sind sogar größer als die tatsächlichen Trainingsdatenwerte. Unter solchen Umständen können die wiederhergestellten Daten kaum nützliche Informationen preisgeben. Um eine klare Demonstration zu ermöglichen, zeigen wir die Ergebnisse der wiederhergestellten Daten in Abb. 10. Bitte beachten Sie, dass der Gradient keine Informationen über die Reihenfolge der Trainingsdaten enthält. Die wiederhergestellten Daten sind fehlerhaft und können nicht direkt mit den ursprünglichen Chargendaten verglichen werden. Als Ergebnis haben wir den ungarischen Algorithmus38 angewendet, um eine Übereinstimmung zwischen den wiederhergestellten und den tatsächlichen Trainingsdaten zu finden und so den Wiederherstellungsfehler im Übereinstimmungsergebnis zu bewerten. Es ist ersichtlich, dass bei einer Stapelgröße von 1 die wiederhergestellten Trainingsdaten perfekt mit den tatsächlichen Trainingsdaten übereinstimmen. Der MAE zwischen den wiederhergestellten und den tatsächlichen Etiketten wird in einem akzeptablen Bereich gehalten. Mit zunehmender Chargengröße nimmt der MAE allmählich zu. Wenn die Stapelgröße 2 und 4 beträgt, gibt es eine Diskrepanz zwischen den wiederhergestellten Trainingsdaten, während einige der wiederhergestellten Daten immer noch mit den tatsächlichen Trainingsdaten übereinstimmen. Wenn die Stapelgröße auf 8 steigt, kann der Gradientenangriff keine Trainingsdaten wiederherstellen.

Einige der wiederhergestellten Trainingsdaten aus Modellaktualisierungen mit unterschiedlichen Stapelgrößen. Die wiederhergestellten Trainingsdaten wurden zufällig aus dem Kettle-Datensatz ausgewählt.

Wir haben auch bewertet, ob die Wirksamkeit der Gradientenangriffe durch den Konvergenzzustand des Modells beeinflusst wird. Die Konvergenz des Modells wird durch die Anzahl der Epochen quantifiziert, in denen das Modell trainiert wird. Wir haben die Wiederherstellungsstapelgröße auf 1 gesetzt und die Trainingsdaten anhand der Gewichtungen der Modelle aus den Epochen 0, 1, 5 und 10 wiederhergestellt. Tabelle 7 veranschaulicht die Wiederherstellungsleistung des Gradientenangriffs unter verschiedenen Modellkonvergenzzuständen. Es werden sowohl Regressions- als auch Klassifizierungsaufgaben vorgestellt. Es ist nicht schwer zu erkennen, dass die Konvergenz des Modells einen erheblichen Einfluss auf den Gradientenangriff hat. Bei der Wiederherstellung von Trainingsdaten aus den Gewichten eines nicht trainierten Modells ist die Diskrepanz zwischen den wiederhergestellten und den tatsächlichen Daten gering. Wenn die Trainingsepoche von 0 auf 10 ansteigt, erhöht sich der MRE-Wert der wiederhergestellten Eingabe von 0,01 auf 6,6 für die Klassifizierungsaufgaben und von 0,0006 auf 10,462 für die Regressionsaufgaben. Außerdem nimmt die Genauigkeit der wiederhergestellten Trainingsbeschriftungen erheblich ab. Der MAE der Labels wächst für die Regressionsaufgaben von 0 auf 474,89, während die Genauigkeit der Labels für die Klassifizierungsaufgaben von 100 % auf 66,67 % sinkt. Die Ergebnisse deuten darauf hin, dass der Gradientenangriff mit zunehmender Epoche schnell an Wirksamkeit bei der Wiederherstellung der Trainingsdaten verliert. Daraus können wir schließen, dass die Gradientenangriffsmethode bei NILM-Aufgaben nur in den sehr frühen Phasen des NILM-Modelltrainings funktioniert, ein solcher Verlust jedoch oberflächlich ist und nicht ausreicht, um eine Bedrohung für die Privatsphäre der Benutzer darzustellen.

In dieser Arbeit schlagen wir ein modellunabhängiges hybrides föderiertes Lernrahmenwerk für NILM-Anwendungen in nachhaltigen Smart Cities vor. Ziel ist es, eine flexible, effiziente und sichere Möglichkeit zum gemeinsamen Trainieren von NILM-Modellen bereitzustellen. Die Kernidee des Frameworks besteht darin, jedem Benutzer die Nutzung der am besten geeigneten NILM-Modelle zu ermöglichen, die in der entsprechenden Umgebung eingeführt wurden, um seinen Anforderungen gerecht zu werden. In unserem Rahmen wird sowohl zentralisiertes als auch dezentrales föderiertes Lernen unterstützt. Im zentralisierten föderierten Lernmodus ist der Server in jedem Schulungscluster für die Bereitstellung und Verwaltung des Schulungsprozesses für alle Benutzer verantwortlich. Dieser Trainingsmodus bietet viele Vorteile, wie z. B. eine schnelle Konvergenz des globalen Modells, eine gute Generalisierung und niedrige Kommunikationskosten. Darüber hinaus können die Energiegroß- und -einzelhändler Echtzeitinformationen ihrer Mitnutzer nutzen, um deren Verhalten und Aktivitäten besser zu verstehen. Sie können sich an dem vorherrschenden Verständnis der Nutzer als rationale Individuen orientieren, um attraktivere finanzielle Anreize für die Teilnahme an Demand-Response-Programmen39 zu schaffen, die als praktikable Lösung zur Gewährleistung der Netzstabilität und der Sicherheit der Stromversorgung anerkannt sind. Trotz der Vielseitigkeit des zentralisierten föderierten Lernmodus stößt er auf Systemebene auf mehrere Probleme, wie z. B. Single-Point-Fehler und schlechte Skalierbarkeit. Zudem könnte der Server schnell zum Leistungsengpass des Frameworks werden. Mit zunehmender Benutzerzahl nimmt die Kommunikations- und Rechenlast auf dem Server rapide zu. Auch der Zeitaufwand für das Training pro Runde erhöht sich. Im dezentralen föderierten Lernmodus teilen die Benutzer im selben Trainingscluster die Modelle asynchron mit anderen über Peer-to-Peer-Kommunikation, und jeder Benutzer ist nur für seine Modelle verantwortlich. Dieser Modus verbessert die Skalierbarkeit und Elastizität des Frameworks. Unser Framework unterstützt derzeit das Training neuronaler Netzwerkmodelle sowohl im zentralisierten als auch im dezentralen Modus sowie Gradienten-Boosting-Tree-Modelle im zentralisierten Modus. Wir haben die Leistung von zwei Modellen für maschinelles Lernen mithilfe unseres vorgeschlagenen Frameworks an einem realen Datensatz getestet und ihn mit lokal trainierten Modellen verglichen. Die experimentellen Ergebnisse zeigen, dass die in unserem Framework trainierten Modelle die lokal trainierten Modelle hinsichtlich Genauigkeit und Vielfalt übertreffen. Außerdem weisen die im dezentralen Modus trainierten Modelle eine ähnliche Konvergenzgeschwindigkeit und Leistung auf wie die im zentralisierten Modus trainierten Modelle.

Wir haben auch die Datenschutzprobleme der Benutzer beim föderierten Lernen für NILM-Anwendungen untersucht. Wie bereits erwähnt, kann die Offenlegung eines Datensatzes zum Stromverbrauch Verhaltensmuster von Energieverbrauchern aufdecken und deren Privatsphäre ernsthaft gefährden. Daher untersuchen wir die Wirksamkeit einer hochmodernen Angriffsmethode gegen föderierte Lernrahmen in NILM-Anwendungen. Durch unsere Experimente kamen wir zu zwei Erkenntnissen. Das erste ist, dass Gradientenangriffe nur auf zentralisierte föderale Lernrahmen anwendbar sind. Um den Gradientenangriff durchzuführen, muss der Angreifer die aktualisierten Gradienten und die Größe des für das Training verwendeten lokalen Datensatzes kennen. Solche Informationen stehen im zentralisierten föderierten Lernmodus nur einem zentralen Server zur Verfügung. In einem dezentralen föderierten Lernmodus wird der zentrale Server nicht mehr verwendet und es werden asynchrone Modellaktualisierungen eingesetzt. Ein Angreifer, der sich als Client ausgibt, hat nur Zugriff auf Modelle von einigen wenigen zufälligen Clients und hat keine Möglichkeit, die Größe des lokalen Datensatzes zu kennen, der für jede Modellaktualisierung verwendet wird. Daher kann ein Gradientenangriff kaum auf ein dezentrales, föderiertes Lernframework angewendet werden. Obwohl ein Gradientenangriff zum Angriff auf ein zentralisiertes föderiertes Lernframework verwendet werden kann, bedeutet dies nicht, dass er die Privatsphäre der Benutzer gefährden kann. Wir zeigen, dass ein Gradientenangriff nur unter bestimmten Bedingungen zur Wiederherstellung einiger Fragmente der für das Training verwendeten Stromverbrauchsdaten gültig ist, beispielsweise in den frühen Phasen des Modelltrainings und wenn eine sehr kleine Trainingsbatchgröße gewählt wird. Diese Einschränkungen machen es in der Praxis nahezu unmöglich, dass Gradientenangriffe die Privatsphäre der Benutzer gefährden. Wir haben guten Grund zu der Annahme, dass der Gradientenangriff die Privatsphäre der Benutzer in unserem vorgeschlagenen Rahmen nicht wirksam verletzt. Darüber hinaus halten wir es für unnötig, Verschlüsselung zu verwenden oder Rauschen hinzuzufügen, um Gradientenangriffe beim föderierten Lernen für NILM-Anwendungen zu verhindern. Frühere Studien kamen jedoch zu dem gegenteiligen Ergebnis. Sie zeigen experimentell, dass Gradientenangriffe bei Bildverarbeitungsaufgaben eine zufriedenstellende Wiederherstellungsgenauigkeit aufweisen, und legen nahe, dass Vorsichtsmaßnahmen getroffen werden müssen, um Gradientenangriffe zu verhindern. Wir fragen uns daher, warum Gradientenangriffe bei NILM-Aufgaben nicht gut funktionieren. Wir glauben, dass es zwei Gründe für den Widerspruch gibt. Erstens beschreiben Bilddaten normalerweise reale Objekte, die für Menschen leichter zu verstehen sind. Auch wenn die Genauigkeit der rekonstruierten Daten nicht so hoch ist, kann man dennoch erraten, was sich im Bild befindet, indem man die teilweise wiederhergestellten Bildfragmente mit bekannten realen Objekten in Verbindung bringt. Zweitens bietet die Spezifität von Bilderkennungsaufgaben, beispielsweise bei Gesichtserkennungsaufgaben, bei denen jeder Teilnehmer die Gesichtsdaten einer Person besitzt, Gradientenangriffen mehr Möglichkeiten, die Gesichtsmerkmale des Benutzers aus den Batch-Trainingsdaten zu stehlen. Aus diesen Gründen besteht bei Gradientenangriffen ein höheres Risiko für Datenschutzverletzungen bei Bilddatensätzen.

Diese Arbeit präsentiert unsere vorläufigen Ergebnisse bei der Realisierung eines modellunabhängigen hybriden föderierten Lernrahmens für NILM-Anwendungen. In Zukunft wollen wir ein durchgängiges föderiertes Lernframework implementieren, das einen vollständigen Trainingsprozess von der Datenvorverarbeitung über das Modelltraining bis hin zur Bereitstellung umfasst. Wir werden mehr Modelle für maschinelles Lernen und mehr Modi für föderiertes Lernen in unser Framework integrieren, um verschiedene Smart-City-Anwendungen zu bewältigen. Wir werden auch unser dezentralisiertes Verbundlern-Framework optimieren, indem wir die Konvergenzgeschwindigkeit von Modellen und die allgemeine Kommunikationseffizienz verbessern.

Die im Rahmen der aktuellen Studie analysierten Datensätze sind im REFIT-Repository https://www.refitsmarthomes.org/datasets/ verfügbar.

Vereinte Nationen, P. The World's Cities in 2016 (2016).

Silva, BN, Khan, M. & Han, K. Auf dem Weg zu nachhaltigen Smart Cities: Ein Überblick über Trends, Architekturen, Komponenten und offene Herausforderungen in Smart Cities. Aufrechterhalten. Städte Soc. 38, 697–713 (2018).

Artikel Google Scholar

Morstyn, T., Farrell, N., Darby, SJ & McCulloch, MD Nutzung von Peer-to-Peer-Energiehandelsplattformen, um Anreize für Prosumenten zur Bildung von Verbundkraftwerken zu schaffen. Nat. Energie 3, 94–101 (2018).

Artikel ADS Google Scholar

Lüderer, G. et al. Auswirkungen sinkender Kosten für erneuerbare Energien auf die Elektrifizierung in emissionsarmen Szenarien. Nat. Energie 7, 32–42 (2022).

Artikel ADS Google Scholar

Li, W. et al. Über die Ermöglichung von nachhaltigem Edge Computing mit erneuerbaren Energieressourcen. IEEE-Komm. Mag. 56, 94–101 (2018).

Artikel ADS Google Scholar

Li, W. et al. Ein nachhaltiges und benutzerverhaltensbewusstes cyber-physisches System für das Energiemanagement zu Hause. ACM Trans. Cyber-Phys. Syst. 3, 1–24 (2019).

Artikel Google Scholar

Ehrhardt-Martinez, K. et al. Advanced Metering Initiatives and Residential Feedback Programs: A Meta-Review for Household Electricity Saving Opportunities (American Council for an Energy-Efficient Economy, 2010).

Gopinath, R., Kumar, M. & Srinivas, K. Feature-Mapping-basierte tiefe neuronale Netze für die nicht-intrusive Lastüberwachung ähnlicher Geräte in Gebäuden. In Proceedings of the 7th ACM International Conference on Systems for Energy-Efficient Buildings, Cities, and Transportation 262–265 (2020).

Kukunuri, R. et al. Edgenilm: in Richtung Nilm auf Edge-Geräten. In Proceedings of the 7th ACM International Conference on Systems for Energy-Efficient Buildings, Cities, and Transportation 90–99 (2020).

Shin, C. et al. Subtask-Gated-Netzwerke für eine nicht-intrusive Lastüberwachung. Proz. AAAI Conf. Artif. Intel. 33, 1150–1157 (2019).

Google Scholar

Chang, X. et al. Übertragbares baumbasiertes Ensemble-Modell zur nichtinvasiven Lastüberwachung. IEEE Trans. Aufrechterhalten. Berechnen. 7, 970–981 (2022).

Artikel Google Scholar

Tan, D., Suvarna, M., Tan, YS, Li, J. & Wang, X. Ein dreistufiges Framework für maschinelles Lernen für Energieprofilierung, Aktivitätszustandsvorhersage und Produktionsschätzung in der intelligenten Prozessfertigung. Appl. Energie 291, 116808 (2021).

Artikel Google Scholar

Bonawitz, K. et al. Auf dem Weg zu föderiertem Lernen im großen Maßstab: Systemdesign. Proz. Mach. Lernen. Syst. 1, 374–388 (2019).

Google Scholar

Wang, H. et al. Fed-Nilm: Eine föderierte, lernbasierte, nicht-intrusive Lastüberwachungsmethode zum Schutz der Privatsphäre. Energiewandler. Wirtschaft. 3, 51–60 (2022).

Artikel Google Scholar

Zhou, PeerJ-Computing. Wissenschaft. 8, e1049 (2022).

Artikel PubMed PubMed Central Google Scholar

Dai, S., Meng, F., Wang, Q. & Chen, X. Federatednilm: Ein verteiltes und die Privatsphäre wahrendes Framework für die nicht-intrusive Lastüberwachung basierend auf Federated Deep Learning. arXiv-Vorabdruck arXiv:2108.03591 (2021).

Adabi, A., Manovi, P. & Mantey, P. Seads: Eine modifizierbare Plattform zur Echtzeitüberwachung des Energieverbrauchs von Wohngeräten. Im Jahr 2015 fand die sechste International Green and Sustainable Computing Conference (IGSC) 1–4 statt (IEEE, 2015).

Zhang, Y. et al. Fednilm: Anwendung von föderiertem Lernen auf Nilm-Anwendungen am Rande. IEEE Trans. Grüne Kommune. Netw.https://doi.org/10.1109/TGCN.2022.3167392 (2022).

Artikel Google Scholar

Pan, Y., Liu, K., Shen, Z., Cai, X. & Jia, Z. Sequenz-zu-Teilsequenz-Lernen mit bedingtem Gan für die Leistungsdisaggregation. In ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) 3202–3206 (IEEE, 2020).

Zhang, C., Zhong, M., Wang, Z., Goddard, N. & Sutton, C. Sequenz-zu-Punkt-Lernen mit neuronalen Netzen für die nicht-intrusive Lastüberwachung. In Proceedings of the AAAI Conference on Artificial Intelligence, Bd. 32 (2018).

Molina-Markham, A., Shenoy, P., Fu, K., Cecchet, E. & Irwin, D. Private Memoiren eines Smart Meters. In Proceedings of the 2nd ACM Workshop on Embedded Sensing Systems for Energy-Efficiency in Building 61–66 (2010).

Shi, Y., Li, W., Chang, X. & Zomaya, AY Verlust der Privatsphäre von Benutzern durch föderiertes Lernen in Nilm-Anwendungen. In Proceedings of the 8th ACM International Conference on Systems for Energy-Efficient Buildings, Cities, and Transportation 212–213 (2021).

Wang, H., Zhang, J., Lu, C. & Wu, C. Wahrung der Privatsphäre bei nicht-intrusiver Lastüberwachung: Eine differenzierte Privatsphäre-Perspektive. IEEE Trans. Smart Grid 12, 2529–2543 (2020).

Artikel Google Scholar

Choi, W.-S., Tomei, M., Vicarte, JRS, Hanumolu, PK & Kumar, R. Gewährleistung der lokalen differenziellen Privatsphäre auf Systemen mit extrem geringem Stromverbrauch. Im Jahr 2018 ACM/IEEE 45th Annual International Symposium on Computer Architecture (ISCA) 561–574 (IEEE, 2018).

Sun, L. et al. Optimale Wiederherstellung des Skelettnetzes unter Berücksichtigung der Startreihenfolge des Generators und der Lastaufnahme. IEEE Trans. Smart Grid 10, 3174–3185 (2018).

Artikel Google Scholar

Chang, X., Li, W. & Zomaya, AY Eine leichte kurzfristige Photovoltaik-Leistungsvorhersage für Edge Computing. IEEE Trans. Grüne Kommune. Netzwerk. 4, 946–955 (2020).

Artikel Google Scholar

Gao, X. et al. Ein Algorithmus zur Erkennung menschlicher Aktivitäten, der auf dem Stapeln von Rauschunterdrückungs-Autoencoder und LightGBM basiert. Sensoren 19, 947 (2019).

Artikel ADS PubMed PubMed Central Google Scholar

Liu, L. & Wang, Z. Kodierung zeitlicher Markov-Dynamik in Diagrammen zur Visualisierung und Gewinnung von Zeitreihen. In Workshops auf der Thirty-Second AAAI Conference on Artificial Intelligence (2018).

Koikkalainen, P. & Oja, E. Selbstorganisierende hierarchische Feature-Maps. 1990 IJCNN International Joint Conference on Neural Networks 279–284 (IEEE, 1990).

Tian, ​​Z., Zhang, R., Hou, X., Liu, J. & Ren, K. Federboost: Private Federated Learning für GBDT. arXiv-E-Prints arXiv–2011 (2020).

Murray, D., Stankovic, L. & Stankovic, V. Ein Datensatz zur Messung der elektrischen Last von Haushalten im Vereinigten Königreich aus einer zweijährigen Längsschnittstudie. Wissenschaft. Daten 4, 1–12 (2017).

Artikel CAS Google Scholar

LeCun, Y. et al. Faltungsnetzwerke für Bilder, Sprache und Zeitreihen. Handb. Gehirntheorie Neuronale Netze. 3361, 1995 (1995).

Google Scholar

Ke, G. et al. Lightgbm: Ein hocheffizienter Entscheidungsbaum zur Gradientenverstärkung. Adv. Neuronale Inf. Verfahren. Syst. 30, 1–13 (2017).

Google Scholar

Lange, H. & Bergés, M. Effiziente Inferenz im Dual-Emissions-FHMM zur Energiedisaggregation. In Workshops auf der dreißigsten AAAI-Konferenz über künstliche Intelligenz (2016).

D'Incecco, M., Squartini, S. & Zhong, M. Transferlernen für nicht-intrusive Lastüberwachung. IEEE Trans. Smart Grid 11, 1419–1429 (2019).

Artikel Google Scholar

Wang, H., Si, C. & Zhao, J. Ein Federated Learning Framework für die nicht-intrusive Lastüberwachung. arXiv-Vorabdruck arXiv:2104.01618 (2021).

Zhu, L. & Han, S. Tiefe Leckage aus Gefällen. In Federated Learning 17–31 (Springer, 2020).

Kuhn, H. Die ungarische Methode für das Zuordnungsproblem. Marineforschungslogistik 52, 7–21. (Alle Open Access, Green Open Access, 2005). https://doi.org/10.1002/nav.20053

Palensky, P. & Dietrich, D. Demand Side Management: Demand Response, intelligente Energiesysteme und intelligente Lasten. IEEE Trans. Ind. Inf. 7, 381–388 (2011).

Artikel Google Scholar

Referenzen herunterladen

Yunchuan Shi dankt der Fakultät für Ingenieursstipendien für die Unterstützung durch ein Forschungsstipendium der University of Sydney. Dr. Wei Li dankt dem Australian Research Council (ARC) für die Unterstützung durch den Discovery Early Career Researcher Award (DE210100263). Professor Zomaya und Dr. Wei Li danken für die Unterstützung eines ARC Discovery Project (DP200103494) und die Unterstützung des Australia-China Centre for Energy Informatics and Demand Response Technologies durch das Department of Industry, Innovation and Science, Australia (ACSRIII000004). Die Arbeit von Professor Yang wurde teilweise vom National Key Research and Development Program of China (2022YFB2403800), der National Natural Science Foundation of China (61971305) und der Natural Science Foundation of Tianjin – Key Program (21JCZDJC00640) unterstützt. Professor Sun dankt für die Unterstützung des National Key R&D Program of China (Grant No. 2019YFB2103200).

School of Computer Science, The University of Sydney, Camperdown, 2006, Australien

Yunchuan Shi, Wei Li, Xiaomin Chang und Albert Y. Zomaya

Fakultät für Elektrotechnik und Informationstechnik, Tianjin-Universität, Tianjin, 300072, China

Ting Yang

Fakultät für Informationswissenschaft und -technologie, Fudan-Universität, Shanghai, 200433, China

Yaojie Sun

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

WL und AZ überwachten gemeinsam die Arbeiten. YS und XC waren für die Datenvorverarbeitung verantwortlich. YS, WL und XC entwarfen das Framework für maschinelles Lernen, analysierten Daten und führten Experimente durch. TY und YS interpretieren die experimentellen Ergebnisse aus energietechnischer Sicht. WL, YS und XC haben den Haupttext des Manuskripts geschrieben. Alle Autoren haben das Projekt konzipiert und das Manuskript überprüft und überarbeitet.

Korrespondenz mit Wei Li oder Albert Y. Zomaya.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die ursprünglichen Autor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative-Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht durch gesetzliche Vorschriften zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Shi, Y., Li, W., Chang, X. et al. Über die Ermöglichung einer kollaborativen, nicht-intrusiven Lastüberwachung für nachhaltige Smart Cities. Sci Rep 13, 6569 (2023). https://doi.org/10.1038/s41598-023-33131-0

Zitat herunterladen

Eingegangen: 01. Juni 2022

Angenommen: 07. April 2023

Veröffentlicht: 21. April 2023

DOI: https://doi.org/10.1038/s41598-023-33131-0

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.