Οι New York Times εξηγούν πως πίσω από τις αυξανόμενες δυνατότητες της τεχνητής νοημοσύνης βρίσκεται ένας τεράστιος όγκος μαθηματικών πράξεων, που απαιτεί ολοένα και περισσότερη ηλεκτρική ενέργεια
Τα σημερινά συστήματα τεχνητής νοημοσύνης είναι πιο ικανά από ποτέ – και αυτό οφείλεται, σύμφωνα με τους ειδικούς, στον ασύλληπτο όγκο μαθηματικών πράξεων που απαιτούνται για την εκπαίδευσή τους.
Η εκπαίδευση αυτή αποτελείται, σε μεγάλο βαθμό, από την εκτέλεση εκπληκτικά απλών αριθμητικών πράξεων. Ωστόσο, ο όγκος αυτών των μαθηματικών πράξεων είναι τεράστιος.
Οι New York Times, επικαλούμενοι εκτιμήσεις της Epoch AI, αναφέρουν ενδεικτικά υπολογισμούς τους οποίους χρησιμοποίησε η OpenAI για την ανάπτυξη των μοντέλων της, διευκρινίζοντας βέβαια πως μπορεί να υπάρχουν μικρές παρεκκλίσεις, δεδομένου πως τα κορυφαία εργαστήρια τεχνητής νοημοσύνης δεν αποκαλύπτουν συγκεκριμένες λεπτομέρειες σχετικά με τον τρόπο εκπαίδευσης των συστημάτων τους: Το 2018, η OpenAI κυκλοφόρησε το GPT-1, το πρώτο μοντέλο τεχνητής νοημοσύνης στη σειρά GPT της εταιρείας. Για την εκπαίδευσή του απαιτήθηκαν 18 εκατομμύρια τρισεκατομμύρια προσθέσεις και πολλαπλασιασμοί.
Την επόμενη χρονιά, η OpenAI κυκλοφόρησε το GPT-2. Η εκπαίδευσή του περιλάμβανε σχεδόν 300 φορές περισσότερους υπολογισμούς.
Το 2022, η εταιρεία κυκλοφόρησε το GPT-3.5. Η εκπαίδευσή του απαιτούσε πάνω από 140.000 φορές περισσότερους υπολογισμούς σε σχέση με το GPT-1. Μια εκδοχή αυτού του μοντέλου κυκλοφόρησε αργότερα ως το ChatGPT.
Το 2023, για την εκπαίδευση του GPT-4 απαιτήθηκαν πάνω από ένα εκατομμύριο φορές περισσότεροι υπολογισμοί σε σύγκριση με το GPT-1.
Το 2026, η εκπαίδευση του GPT-6 Astra απαιτούσε, σύμφωνα με τις εκτιμήσεις, σχεδόν ένα οκτάκις εκατομμύριο (octillion) υπολογισμούς — αριθμό που αντιστοιχεί σε περισσότερους από 50 εκατομμύρια φορές τους υπολογισμούς που απαιτήθηκαν για το GPT-1. Για να γίνει αντιληπτό το μέγεθος αυτού του αριθμού, το δημοσίευμα σημειώνει ότι είναι περίπου χίλιες φορές μεγαλύτερος από τον αριθμό των άστρων στο γνωστό σύμπαν.
Η ανάπτυξη μελλοντικών μοντέλων τεχνητής νοημοσύνης θα απαιτήσει, πιθανότατα, ακόμη περισσότερα μαθηματικά.
Γίνεται σαφές, λοιπόν ότι η ζήτηση της τεχνητής νοημοσύνης για υπολογιστική ισχύ αυξάνεται εκθετικά, παρά τον πρόσφατο δημόσιο διάλογο σχετικά με την ασφάλεια της τεχνητής νοημοσύνης και την κλιμακούμενη αντίθεση στην κατασκευή κέντρων δεδομένων (data centers) τόσο στις ΗΠΑ όσο και παγκοσμίως.
Παρά τις βελτιώσεις στην ταχύτητα και την ενεργειακή αποδοτικότητα των υπολογιστικών τσιπ, η διαρκώς αυξανόμενη ζήτηση της τεχνητής νοημοσύνης για υπολογιστική ισχύ υπερκαλύπτει τα οφέλη αυτά. Ως αποτέλεσμα, η ισχύς που απαιτείται για την εκπαίδευση των μεγαλύτερων μοντέλων AI έχει διπλασιαστεί κάθε χρόνο. Οι ερευνητές εκτιμούν ότι έως το 2030 η εκπαίδευση των μεγαλύτερων μοντέλων θα μπορούσε να απαιτεί ηλεκτρική ισχύ συγκρίσιμη με εκείνη που καταναλώνει σήμερα η Νέα Υόρκη.
Ειδικοί στον τομέα της ενέργειας εκτιμούν ότι, μέχρι τότε, τα data centers ενδέχεται να καταναλώνουν περίπου το 12% της ηλεκτρικής ενέργειας στις ΗΠΑ.
Περισσότεροι υπολογισμοί, περισσότερες ικανότητες
Την τελευταία δεκαετία, οι ερευνητές διαπίστωσαν ότι η εκπαίδευση συστημάτων ΤΝ με περισσότερους υπολογισμούς και περισσότερα δεδομένα οδηγεί, με συνέπεια, στη δημιουργία συστημάτων με μεγαλύτερες ικανότητες.
Η βελτίωση των επιδόσεων γίνεται εμφανής όταν δίνεται η ίδια εντολή (prompt) σε διαφορετικές γενιές μοντέλων GPT. Ενώ το GPT-1 παρήγαγε ασυνάρτητους διαλόγους, το GPT-2 εμφάνιζε ήδη βελτιωμένη συνοχή, παρά τα λάθη του. Το GPT-3.5, έχοντας εκπαιδευτεί με σημαντικά περισσότερους υπολογισμούς, παρήγαγε σε μεγάλο βαθμό συνεκτικές απαντήσεις.
Η εξέλιξη αυτή αποτυπώνει τη βασική παρατήρηση των ερευνητών: υπό συγκεκριμένες συνθήκες, η αύξηση της υπολογιστικής ισχύος και των δεδομένων εκπαίδευσης μπορεί να οδηγήσει σε σημαντικά ικανότερα συστήματα τεχνητής νοημοσύνης.
Οι NYTimes μεταδίδουν πως οι εταιρείες που δραστηριοποιούνται στον τομέα της ΤΝ επιδίδονται σε έναν αγώνα δρόμου για να συνεχίσουν αυτή την ανοδική πορεία. Η προσπάθεια αυτή τροφοδοτείται από την πεποίθηση ότι περισσότεροι υπολογισμοί και περισσότερα δεδομένα θα οδηγήσουν, αναπόφευκτα, σε ακόμη πιο ισχυρά συστήματα Τεχνητής Νοημοσύνης.
Ο ρόλος των data centers
Πώς μπορούν, λοιπόν, οι εταιρείες τεχνητής νοημοσύνης (ΤΝ) να διεκπεραιώνουν τόσο τεράστιο όγκο υπολογισμών;
«Κανένας μεμονωμένος υπολογιστής δεν μπορεί να διαχειριστεί όλα αυτά τα δεδομένα, οπότε αναγκάζεσαι να τα χωρίσεις σε τμήματα», δήλωσε στους Times ο Μπέντζαμιν Λι, καθηγητής μηχανικής στο Πανεπιστήμιο της Πενσυλβάνια, ο οποίος μελετά τρόπους για να καταστήσει τα κέντρα δεδομένων (data centers) πιο ενεργειακά αποδοτικά.
Ο καθηγητής εξηγεί πως οι εταιρείες χωρίζουν αρχικά τα τεράστια σύνολα δεδομένων εκπαίδευσης σε μικρότερες παρτίδες. Στη συνέχεια, αποστέλλουν αυτές τις παρτίδες σε δεκάδες χιλιάδες εξειδικευμένα τσιπ, τα οποία λειτουργούν παράλληλα, σχηματίζοντας έναν γιγαντιαίο υπερυπολογιστή μέσα σε τεράστια κέντρα δεδομένων.
Προφανώς, η αδιάλειπτη λειτουργία αυτών των τσιπ καταναλώνει μεγάλες ποσότητες ηλεκτρικής ενέργειας. Τα κέντρα δεδομένων απαιτούν επιπλέον ενέργεια για την ψύξη του εξοπλισμού, τη διασύνδεση των μονάδων και τον συντονισμό των υπολογισμών.
«Ο όρος “κέντρο δεδομένων” (data center) είναι στην πραγματικότητα αδόκιμος· θα ήταν ακριβέστερο να αποκαλούνται “κέντρα υπολογισμών” (compute centers)», ανέφερε ο Χάιμε Σεβίγια, διευθύνων σύμβουλος της Epoch AI, ενός μη κερδοσκοπικού οργανισμού που αξιολογεί τις δυνατότητες και την κατανάλωση ενέργειας της τεχνητής νοημοσύνης.
Μεταβαλλόμενοι στόχοι
Πριν από την έλευση του ChatGPT, τα περισσότερα εργαλεία τεχνητής νοημοσύνης εκτελούσαν συγκεκριμένες και περιορισμένες εργασίες, όπως ο εντοπισμός ανεπιθύμητων μηνυμάτων (spam), η ανάλυση κριτικών προϊόντων ή η προτάσεις ταινιών.
Αλλά, η σύγχρονη παραγωγική τεχνητή νοημοσύνη (generative A.I.) έχει σχεδιαστεί για να είναι γενικού σκοπού, με στόχο να απαντά σε οποιαδήποτε ερώτηση της τίθεται. «Ο γενικός χαρακτήρας της έχει καταστήσει τα μοντέλα πολύ μεγαλύτερα, αλλά και πολύ πιο δαπανηρά όσον αφορά την εκπαίδευσή τους», δήλωσε ο καθηγητής Λι.
Μόλις το 2020, μεγάλες εταιρείες τεχνολογίας σχεδίαζαν να αντισταθμίσουν την κατανάλωση ηλεκτρικής ενέργειας των data centers τους μέσω επενδύσεων στην αιολική και την ηλιακή ενέργεια. Η Google, συγκεκριμένα, έθεσε ως στόχο την εξουδετέρωση των εκπομπών άνθρακα που προκύπτουν από την κατανάλωση ηλεκτρικής ενέργειας της εταιρείας έως το 2030.
Ωστόσο, η ραγδαία ανάπτυξη της παραγωγικής τεχνητής νοημοσύνης σε ολόκληρο τον κλάδο —και η συνεπακόλουθη κατασκευαστική έξαρση γιγαντιαίων κέντρων δεδομένων που απαιτούν εκθετικά περισσότερη ηλεκτρική ενέργεια— καθιστά τους στόχους για μηδενικό ισοζύγιο εκπομπών (net-zero) όλο και πιο ανέφικτους. Πολλά κέντρα δεδομένων για την τεχνητή νοημοσύνη τροφοδοτούνται από γεννήτριες φυσικού αερίου, ενώ ορισμένα σχεδιάζουν ακόμη και τη χρήση πυρηνικών αντιδραστήρων για την παροχή ηλεκτρικής ενέργειας.
Η Google δηλώνει πλέον ότι η φιλοδοξία της για μηδενικό ισοζύγιο εκπομπών «παραμένει ένας διαρκής και δύσκολος αγώνας», εξαιτίας της ταχείας επέκτασης των υποδομών της.
Ακόμη κι αν τα μελλοντικά κέντρα δεδομένων τεχνητής νοημοσύνης γίνουν πιο ενεργειακά αποδοτικά, επισημαίνει ο καθηγητής Λι, δεν είναι πλέον εφικτό να καλύπτεται το σύνολο των ενεργειακών τους αναγκών αποκλειστικά από ανανεώσιμες πηγές, όπως η ηλιακή και η αιολική ενέργεια. «Τα μεγέθη είναι απλώς υπερβολικά μεγάλα», ανέφερε χαρακτηριστικά στην αμερικανική εφημερίδα.
