Ile prądu je sztuczna inteligencja

Piec hutniczy z rycin encyklopedii był urządzeniem, którego cała obsługa sprowadzała się do jednego: utrzymać temperaturę. Reszta - ruda, ludzie, miechy - była tylko sposobem podtrzymania procesu.

Centrum danych działa podobnie i podobnie się je liczy. Warto tylko wiedzieć, co dokładnie się liczy, bo w tej dyskusji panuje bałagan, którego nie tłumaczy nic poza brakiem danych.

Cztery rzeczy, które ludzie mylą

Trening. Jednorazowy koszt wytworzenia modelu: tygodnie pracy tysięcy układów obliczeniowych. Da się go policzyć, jeśli producent poda liczbę układów i czas - i to jest jedyna wielkość, którą ktokolwiek publikuje jawnie.

Obsługa zapytań. Każde użycie modelu kosztuje niewiele, ale użyć jest miliardy dziennie. Przy popularnym modelu to ta pozycja dominuje w bilansie po kilku miesiącach od premiery.

Sprzęt. Wyprodukowanie układów scalonych ma własny koszt energetyczny i węglowy, ponoszony przed pierwszym uruchomieniem. W większości zestawień jest pomijany.

Centrum danych. Chłodzenie, zasilanie awaryjne, straty przesyłu. Zależnie od ośrodka dokłada od kilku do kilkudziesięciu procent do rachunku.

Zdanie „wytrenowanie modelu zużyło tyle co X domów rocznie” dotyczy wyłącznie pierwszej pozycji - i dlatego jest jednocześnie prawdziwe i mylące.

Co wiadomo z pomiaru, a nie z szacunku

Jeden model policzony jawnie. W 2023 roku zespół pracujący nad otwartym modelem opublikował pełny rachunek: zużycie w treningu, koszt produkcji sprzętu i zużycie przy obsłudze zapytań, z podziałem na etapy. To jest jedyna praca tego rodzaju, bo wymagała dostępu do danych ośrodka obliczeniowego.

Wniosek, który z niej płynie i który przetrwał: koszt wytworzenia sprzętu jest porównywalny z kosztem samego treningu. W zestawieniach, które go pomijają, brakuje więc mniej więcej połowy rachunku.

Zadania różnią się drastycznie. Pomiary opublikowane rok później pokazały, że zużycie przy obsłudze zapytania zależy przede wszystkim od rodzaju zadania: klasyfikacja tekstu jest tania, generowanie tekstu droższe, a generowanie obrazu kosztuje o rzędy wielkości więcej niż odpowiedź tekstowa.

To jest najbardziej praktyczna informacja w całej tej dyskusji i prawie nigdy nie trafia do nagłówków.

Dlaczego szacunki tak się rozjeżdżają

Trzy powody, wszystkie prozaiczne:

Brak danych źródłowych. Analizy zewnętrzne rekonstruują zużycie z liczby sprzedanych układów i publicznych deklaracji. To jest metoda uczciwa i obarczona dużym błędem - autorzy takich prac zwykle sami to piszą, a cytujący pomijają.

Różne granice pomiaru. Jedni liczą sam procesor, drudzy całe centrum danych z chłodzeniem, trzeci dokładają produkcję sprzętu. Trzy liczby dla tego samego zjawiska mogą różnić się dwukrotnie, zanim ktokolwiek popełni błąd.

Efekt odbicia. Poprawa efektywności obniża koszt jednostkowy, co zwiększa użycie. Czy suma rośnie, czy maleje, zależy od tego, które z tych dwóch idzie szybciej - i tego nikt nie umie przewidzieć.

Czego ta rozmowa naprawdę dotyczy

Nie klimatu, przynajmniej nie wprost. Centra danych to dziś wciąż ułamek światowego zużycia prądu, mniejszy niż przemysł czy transport.

Dotyczy dwóch rzeczy konkretniejszych:

Sieci lokalnej. Centrum danych to punktowy pobór mocy rzędu setek megawatów, wpięty w jeden węzeł sieci. Problemem nie jest suma krajowa, tylko czy da się to podłączyć w tym miejscu - i kto zapłaci za wzmocnienie sieci.

Wody. Chłodzenie zużywa wodę, a centra buduje się często tam, gdzie prąd jest tani, a wody mało. To jest konflikt lokalny i już się zdarza.

Praktyczna zasada

Przy każdej liczbie w tej dyskusji warto zadać trzy pytania:

1. Trening czy obsługa zapytań? To dwie różne wielkości i tylko druga rośnie z popularnością.
2. Co obejmuje granica pomiaru? Sam układ, całe centrum, czy również produkcja sprzętu?
3. Skąd dane? Pomiar u producenta czy rekonstrukcja z liczby sprzedanych kart?

Jeśli tekst nie odpowiada na żadne z nich, podana liczba nie znaczy nic - niezależnie od tego, czy brzmi alarmująco, czy uspokajająco.