Wie können KI und KI-Entwickler dazu beitragen, den Energieverbrauch von KI zu senken?

EINE N3XTCODER-Reihe

Implementierung von KI für soziale Innovation

Willkommen zur N3xtcoder-Serie über die Implementierung von KI für soziale Innovation.

In dieser Serie untersuchen wir, wie Künstliche Intelligenz zum Nutzen der Gesellschaft und unseres Planeten eingesetzt werden kann - insbesondere der praktische Einsatz von KI für Projekte der sozialen Innovation.

In diesem Artikel befassen wir uns mit dem Energieverbrauch von KI, dem Carbon Footprint und den Möglichkeiten, diesen zu optimieren.

Wir behandeln:

• Was können KI-Entwickler tun? Wir schauen uns an, wie Entwickler den Energieverbrauch bei der Programmierung von KI und auch bei der Einrichtung von KI-Systemen reduzieren können.
• Was kann KI leisten? Wir untersuchen, wie KI-Anwendungen und -Tools dazu beitragen können, den Energieverbrauch von KI und anderen digitalen Systemen zu senken.

Wenn Sie ihn verpasst haben, lesen Sie Teil 1:

• Warum braucht KI so viel Energie? Wir geben einen kurzen Überblick darüber, warum KI so energie- und ressourcenintensiv ist.

In Teil 3 befassen wir uns dann mit:

• Was können Regierungen und Regulierungsbehörden tun? Schließlich untersuchen wir, was politische Entscheidungsträger tun können, um den Energieverbrauch von KI zu senken.

Lassen Sie uns eintauchen:

1. Was können KI-Entwickler tun?

Wenn Sie KI-Modelle entwickeln oder mit ihnen arbeiten, gibt es eine Reihe von Möglichkeiten, wie Sie den Energieverbrauch von KI erheblich reduzieren können.

Zunächst ist es wichtig, dass Sie sich zu Beginn eines jeden Projekts Gedanken über Ihren Anwendungsfall bzw. Ihre Anwendungsfälle machen. Ist der Einsatz von KI für eine bestimmte Aufgabe oder ein bestimmtes Werkzeug wirklich notwendig? Vielleicht ist eine weniger energieintensive Lösung ausreichend. Und wenn Sie KI benötigen, gibt es bereits geschulte und spezialisierte KI-Tools, die diese Aufgabe übernehmen können? Wenn Sie in der Planungsphase bedenken, dass jeder Einsatz von KI mit Energiekosten verbunden ist, können Sie möglicherweise Energieeinsparungen erzielen sowie Ihre Arbeit und Ihre Kosten rationalisieren.

Wenn Sie vorhaben, mit bestehenden KI-Modellen zu arbeiten, prüfen Sie, ob es bereits Berechnungen über deren Lebenszyklus und die Kosten der Schlussfolgerungen gibt.

In jedem KI-Entwicklungsprozess gibt es vier klare Bereiche, in denen Sie den Energieverbrauch und die Kohlenstoffemissionen minimieren können: Hardware, Software, Datenmanagement und schließlich die Unterstützung der Green AI Community.

Hardware

Die meisten KI-Entwickler werden für den Großteil ihrer Arbeit Cloud-basierte Dienste und Hardware nutzen. Als KI-Entwickler ist Ihre Beziehung zu Ihrem Cloud-Anbieter also entscheidend für die optimale Nutzung der energieeffizientesten Hardware und Server für Ihre Projekte. Ihr Setup sollte Folgendes berücksichtigen:

• Rechenzentren, die mit erneuerbarer Energie betrieben werden. Der offensichtlichste Weg, den Fußabdruck der KI zu reduzieren. https://energydigital.com/top10/top-10-green-energy-data-centres

• Spezialisierte Hardware für KI:
  Tensor Processing Units (TPUs), Graphics Processing Units (GPUs) und Field-Programmable Gate Arrays (FPGAs) sind Beispiele für spezialisierte Hardware, die mit künstlicher Intelligenz verwendet werden kann. Im Vergleich zu Allzweck-CPUs sind diese für die Bewältigung von KI- und maschinellen Lernaufgaben besser geeignet, was zu einer schnelleren Verarbeitung und einem geringeren Energieverbrauch führt.

  • Edge- und IoT-Geräte:
    Sie können KI-Modelle wann immer möglich auf Edge- oder IoT-Geräten einsetzen, um den Bedarf an Datenübertragung und Cloud-basierter Verarbeitung zu reduzieren, die beide energieintensiv sein können.
  • Anpassung der Hardware an spezifische Aufgaben: Passen Sie Ihre Hardwarekonfigurationen an die Anforderungen der verschiedenen KI-Aufgaben an. Während beispielsweise für bestimmte Aufgaben schnellere Prozessorkerne erforderlich sind, kann eine hohe Speicherbandbreite für andere Aufgaben vorteilhafter sein.

  Wenn Sie Ihre eigene Hardware betreiben, könnten Sie auf die Verwendung von Komponenten mit niedrigem Energieverbrauch achten. In Zukunft dürften [experimentellere Hardwareansätze wie das neuromorphe Rechnen] in größerem Umfang verfügbar und erschwinglich werden. Derzeit ist diese neuartige Technologie nur für Forscher und Wissenschaftler zugänglich. Neuromorphe Chips ahmen die Systeme des menschlichen Gehirns nach und sind wesentlich energieeffizienter als unsere altmodischen Chips, bei denen Speicher und Verarbeitung getrennt sind.](https://www.bechtle.com/de-en/about-bechtle/newsroom/new-horizons/2023/neuromorphic-computing-a-no-brainer)

  Software

  Viele KI-Entwickler können durch die Entwicklung von Software-Frameworks und -Bibliotheken, die speziell auf die Minimierung des Energieverbrauchs von KI ausgelegt sind, erhebliche Energieeinsparungen erzielen. Durch die Implementierung von Techniken wie optimierte Laufzeitplanung, Aufgabenparallelisierung und ressourcenbewusste Programmierung kann die Softwareleistung maximiert und gleichzeitig der Energiebedarf minimiert werden. Wie immer helfen Optimierungen wie diese nicht nur der Umwelt, sondern führen auch zu kostengünstigeren und skalierbaren KI-Lösungen.

  AI-Lebenszyklusanalyse
  
  Die Überwachung des gesamten Lebenszyklus ist eine komplexe Aufgabe, die jedoch notwendig ist, wenn wir das Gesamtbild der KI-Kohlenstoffemissionen für ein bestimmtes Modell verstehen wollen. Ein Papier der KI-Forscher Alexandra Sasha Luccioni, Sylvain Viguier und Anne-Laure Ligozat beschreibt eine Berechnungsmethode zur Messung des Kohlenstoff-Fußabdrucks von BLOOM, einem Sprachmodell mit 176 Milliarden Parametern. Es gibt keinen allgemein anerkannten Ansatz für die Bewertung der Umweltauswirkungen von ML-Modellen. Die Forscher begannen ihre Analyse in der Phase der Geräteherstellung, über die Modellschulung bis hin zum Einsatz des Modells. Dadurch werden zwei emissionsverursachende Schritte, die noch früher im Lebenszyklus stattfinden, nicht berücksichtigt: die Rohstoffgewinnung und die Materialherstellung. Ebenfalls unberücksichtigt bleibt der Schritt der Entsorgung/des Lebensendes, der bei diesem Modell noch nicht stattgefunden hat, da es sich noch in der Entwicklung befindet. Daher wäre eine Berechnung dieses letzten Schrittes derzeit nur theoretisch möglich, und eine vollständige Bewertung von der Wiege bis zur Bahre ist nicht machbar. Dennoch ist der Umfang dieser Bewertung viel umfassender als Bewertungen, die sich nur auf das Training von KI-Modellen konzentrieren, was der am einfachsten zu berechnende Teil des Prozesses ist. Erwähnenswert ist auch, dass sich die Berechnung nicht nur auf die Kohlenstoffemissionen konzentriert, sondern auch auf andere Treibhausgase wie Methan, Kohlendioxid, Distickstoffoxid usw., was zu einem Maß für die Kohlendioxidäquivalente (CO2eq) führt. Sicherlich werden in naher Zukunft weitere KI-Systeme im Mittelpunkt einer solchen Untersuchung stehen und müssen ihren Energieverbrauch über den gesamten Lebenszyklus transparenter machen.

  
  Fortgeschrittene Energiespartechniken

  Einer der Hauptverursacher des Energieverbrauchs von KI ist die Komplexität der Modellarchitekturen. Herkömmliche KI-Modelle benötigen oft viel Rechenleistung, was zu energieintensiven Prozessen führt. KI-Entwickler sollten darauf abzielen, Modelle zu entwickeln, die weniger Rechenleistung und Energie für Training und Betrieb benötigen. Zu den Methoden hierfür gehören:

  • Gradientenbeschneidung und Stapelnormalisierung, um den Trainingsprozess stabiler und weniger ressourcenintensiv zu machen.
  • Model Pruning, Quantisierung,
  • Wissensdestillation,
  • Nutzung von effizienten Netzwerkarchitekturen,
  • Verwendung von Transfer-Lernen in neuen Modellen,
  • Sparse Neural Networks,
  • Accelerated Computing,
  • Neuronale Architektursuche
  • Federated Learning.

  Alle diese Methoden haben sich als vielversprechend erwiesen, um schlanke Modelle zu erstellen, die vergleichbare Ergebnisse bei deutlich geringerem Energieverbrauch liefern.

  Datenverwaltung

  Es gibt Methoden, um die Datenspeicherung und -verarbeitung effizienter zu gestalten. Der CO2-Fußabdruck großer Datensätze, die in der KI verwendet werden, kann durch die Minimierung unnötiger Datenredundanz und die Optimierung von Datenverarbeitungspipelines für einen geringeren Energieverbrauch verringert werden. Zwei Schlüsselbereiche sind:

  • Nutzung verteilter Datenverarbeitungssysteme zur Verteilung von KI-Arbeitslasten auf mehrere Rechner. Dieser Ansatz ermöglicht eine parallele Verarbeitung, wodurch sich die Trainingszeiten verkürzen und die Ressourcen effizienter genutzt werden können. (Auch wenn sich dadurch der Trainingsaufwand erhöhen kann, anstatt CO2-Emissionen einzusparen)
  • Cloud-Ressourcenmanagement. Cloud-Anbieter bieten Tools und Dienste für eine effiziente Ressourcenzuweisung, automatische Skalierung und Überwachung. Die ordnungsgemäße Verwaltung von Cloud-Ressourcen hilft, Überbelegung und Verschwendung zu vermeiden.

  Unterstützung der grünen KI-Gemeinschaft

  Einer der wichtigsten Wege, um KI energieeffizienter zu machen, ist die Unterstützung anderer Projekte und Netzwerke, die ebenfalls an der Verbesserung des Energieverbrauchs und der CO2-Bilanz von KI arbeiten. Hierfür gibt es eine Reihe von Möglichkeiten:

  • Open-Source-Zusammenarbeit
    Die Zusammenarbeit mit anderen in der Open-Source-KI-Gemeinschaft kann dazu beitragen, Wissen und bewährte Verfahren für eine ressourceneffiziente KI-Entwicklung auszutauschen. Gemeinsame Anstrengungen können zur Schaffung von standardisierten Frameworks und Bibliotheken führen, bei denen die Effizienz im Vordergrund steht.

  • Algorithmische Effizienzforschung] Sie könnten auch in die Forschung investieren, um die Effizienz von KI-Algorithmen zu verbessern. Kontinuierliche Innovation bei der Entwicklung von Algorithmen kann zu Durchbrüchen führen, die weniger Ressourcen erfordern, ohne die Leistung zu beeinträchtigen.

    Überwachen Sie Ihren Co2-Fußabdruck und machen Sie ihn öffentlich
    Es gibt viele Tools, die zuverlässige Bewertungen Ihres CO2-Fußabdrucks bieten:

    • Für Software: www.codecarbon.org
    • Für Cloud-Dienste: www.cloudcarbonfootprint.org

    Die Einrichtung dieser Tools nimmt einige Zeit in Anspruch, aber sie geben Ihnen einen glaubwürdigen Überblick über die Kohlenstoffemissionen Ihrer Computer und Daten. Wenn Sie diese Angaben auf Ihren Websites und in Ihrem Marketingmaterial veröffentlichen, gehen Sie mit gutem Beispiel voran und ermutigen andere, dasselbe zu tun.

2. Was kann KI leisten?

Es gibt viele praktische Beispiele dafür, wie KI zur Senkung des Energieverbrauchs beitragen kann. So berichtete Google, dass eines seiner DeepMind-KI-Modelle dazu beigetragen hat, den Energieverbrauch für die Kühlung von Rechenzentren um bis zu 40% zu senken. Erreicht wurde dies durch die Verwendung historischer Daten von Tausenden von Sensoren in Rechenzentren, so dass die neuronalen Netze die Servertemperaturen für die nächste Stunde vorhersagen konnten. KI-Tools können auf folgende Weise zur Senkung des Energieverbrauchs eingesetzt werden:

1. Energiebewusstes Scheduling (siehe obiges Google-Beispiel)
   Einsatz von KI-Algorithmen für die dynamische Planung von Arbeitslasten zur Optimierung der Ressourcennutzung und zur Senkung des Energieverbrauchs in Rechenzentren und Cloud-Infrastrukturen.
2. Überwachung und Feedback (siehe obiges Google-Beispiel)
   Implementieren Sie KI-basierte Überwachungssysteme, um den Energieverbrauch kontinuierlich zu verfolgen und Anpassungen in Echtzeit vorzunehmen, um die Energienutzung zu optimieren.
3. Energiebewusste Trainingsalgorithmen
   Forscher arbeiten aktiv an der Entwicklung von energiebewussten Trainingsalgorithmen. Diese Algorithmen passen den Trainingsprozess dynamisch an die Energieeffizienz der zugrundeliegenden Hardware an. Durch die Einbeziehung von Energieverbrauchsmetriken in den Trainingsprozess können KI-Systeme ihre Lernstrategien optimieren und ein Gleichgewicht zwischen Leistung und Energieeffizienz herstellen.
4. Dynamische Ressourcenzuweisung
   Implementierung dynamischer Ressourcenzuweisungsmechanismen, die es KI-Systemen ermöglichen, ihre Rechenressourcen auf der Grundlage der aktuellen Arbeitslast anzupassen. Dadurch wird sichergestellt, dass die Rechenleistung effizient genutzt wird, was zu einem geringeren Energieverbrauch in Zeiten mit geringerer Nachfrage führt. Techniken wie Reinforcement Learning können eingesetzt werden, um KI-Systeme in die Lage zu versetzen, zu lernen und ihre Ressourcenzuweisungsstrategien im Laufe der Zeit anzupassen.

Empfehlungen:

1. Seien Sie sich Ihres CO2-Fußabdrucks bei Ihrer Entwicklungsarbeit bewusst und ergreifen Sie Maßnahmen, um ihn zu messen. Kommunizieren Sie Ihren CO2-Fußabdruck.

2. Seien Sie Teil der grünen KI-Gemeinschaft und unterstützen Sie andere Projekte in dieser Gemeinschaft, machen Sie Ihre eigenen Projekte Open Source.

3. Ob Sie nun KI verwenden oder nicht, stellen Sie sicher, dass Ihre Website und die von ihr genutzten Dienste Dritter mit grüner Energie betrieben werden. Dies ist eine der einfachsten Möglichkeiten, etwas zu bewirken.

4. Wägen Sie bei der Entwicklung Ihrer eigenen KI-Modelle das Energiesparpotenzial optimaler Hardware gegen das ab, was Sie vielleicht schon im Haus haben.

5. Energieeffiziente Überlegungen während der Softwareentwicklung bieten mit das größte Optimierungspotenzial, aber diese Ansätze erfordern Forschung. Größer ist nicht immer besser - Methoden wie Model Pruning und Quantisierung sind nicht übermäßig komplex und haben durchaus eine Wirkung. Leapfrog-Entwicklung durch Nutzung von Transfer Learning in neuen Modellen.

6. Programmieren Sie beim Schreiben von KI-Code die KI so, dass sie die Energieeffizienz berücksichtigt.

   Zusätzliche Ressourcen, die wir beim Verfassen dieses Artikels gelesen oder angeschaut haben:

   • https://blog.google/outreach-initiatives/environment/deepmind-ai-reduces-energy-used-for/
   • https://www.theregister.com/2023/10/11/ai_processing_electricity/
   • https://www.theguardian.com/technology/2023/jun/08/artificial-intelligence-industry-boom-environment-toll
   • https://hbr.org/2023/07/how-to-make-generative-ai-greener
   • https://sustain.algorithmwatch.org/