To AI θα είναι ο θάνατος του ανθρώπινου πολιτισμού

[Dwarven Blacksmith]

Δεν είδα όλο το βίντεο επειδή είναι μαύρη νύχτα, αλλά όσο είδα δεν έκανε και καμιά ιδιαίτερη τομή στη συζήτηση. Πιθανόν το πρωί πάλι.

Dwarven Blacksmith

Το βίντεο ήταν εντελώς uncritical παρουσίαση κάποιων greatest hits από το την ανακοίνωση του Future Of Life, δεν βρήκα να προσθέτει κάτι στην συζήτηση, εσένα σου κίνησε κάτι συγκεκριμένο το ενδιαφέρον;

Γενική οδηγία προς ναυτιλόμενους: όπου βλέπετε να μαζεύονται πολύ όροι όπως x-risk και alignment problem και ονόματα όπως ο Bostrom και φιλανθρωπικές οργανώσεις/thinktank με μεγαλεπίβολα ονόματα όπως Το Μέλλον Της Ζωής , όχι πολύ μακρυά από πίσω υπάρχει το cult των λεγόμενων rationalists, που είναι μια υποκουλτούρα κυρίως τεχνολόγων που αναπτύχθηκε γύρω από κάποια αντιδραστικά ιδεώδη αλλά κυρίως εξτρημ κινδυνολογία για ΑΙ, και γλύψιμο τεχνοφεουδαρχών όπως ο Μασκ και ο Thiel, και που προσπαθούν να δικαιολογήσουν την ύπαρξή τους και τα λεφτά που τους δίνουν οι πιστοί τους (για να πάρετε ιδέα για τι οικονομικές κλίμακες μιλάμε τον τελευταίο χρόνο αγόρασαν δύο κάστρα υποτίθεται για συνεδριακούς χώρους). Άλλη γνωστές φιγούρες γέννημα θρέμμα του χώρου είναι ο υπόδικος μεγαλοαπατεώνας Sam Bankman-Fried, από τον οποίο έχουν φάει πολύ καλά, καθώς και ο Mencius Moldbug.

Είναι ολόκληρη ιστορία αυτοί γενικά, δεν περιγράφονται σε μια παράγραφο. Η κατακλείδα είναι ότι όταν βλέπετε η συζήτηση να κινείται λιγότερο στο τι επιπτώσεις θα έχει η το ΑΙ στην καθημερινότητα και τις εργασιακές σχέσεις και περισσότερο από το τι θα γίνει μόλις το chatgpt ΑΝΑΠΟΦΕΥΚΤΑ, ΑΝΕΞΗΓΗΤΑ και ΑΠΡΟΣΜΕΝΑ μετατραπεί σε Ultron, αυτό είναι σε μεγάλο βαθμό η δυσανάλογη επιρροή των rationalists/effective-altruists/longtermists (το REAL του TESCREAL) στην συζήτηση.

Όπως πάντα, απολαύστε υπεύθυνα.

Επειδή παρακολουθώ στενά, επαναλαμβάνονται όλα και κάθε φορά παίρνω ελάχιστη πληροφορία έξτρα.

Θεωρώ ότι πλέον της επιστολής προσφέρει κοντεξτ για το ποιοί είναι αυτοί, έχει αποσπάσματα από συνεντεύξεις και πρόσφατα papers, και γενικά μπαζει πολύ ωραία έναν πιο αρχάριο στη συζήτηση.

Το δικό σου αφήγημα η αλήθεια είναι δεν με πείθει. Δηλαδή οκ να τα ποντάρουμε όλα στο "SBF bad, so AI safe". Από εμένα είναι όχι. Υπάρχουν emergents capabilities και πρέπει να πάμε αργά και να τα κατανοήσουμε. Σε έναν ιδανικό κόσμο θα υπήρχε παγκόσμιο regulation για αυτό.

Όσον αφορά την επίπτωση στην αγορά εργασίας, νομίζω το τελευταίο μας παράπονο θα είναι το "λείπει από το δημόσιο διάλογο". Θα βαρεθούμε να τα λέμε.

[Λεγεών]

Δηλαδή οι πληροφορικάριοι λέτε πως δεν υπάρχει λόγος ανησυχίας, όλα θα πάνε καλά, και οι ανθρώπινες κοινωνίες είναι ήδη έτοιμες ή θα προσαρμοστούν εύκολα στις αλλαγές που θα φέρει το ΑΙ. ΟΚ, εδώ θα είμαστε.

Αν η θέση σου ήταν "η προσαρμογή θα είναι δύσκολη", θα ήταν πιο δύσκολο να της επιτεθεί κανείς.

Καλά, εδώ μας είπες χτες το βράδυ για σαμαράκι, που μπορεί να σημαίνει από την απόλυση σου μέχρι τον θάνατο δισεκατομμυρίων σε έναν ολοκληρωτικό πυρηνικό πόλεμο, στην δική μου θέση κόλλησες;

Η δική μου θέση είναι πως μέχρι το τέλος του αιώνα θα έχουμε ζήσει μία τυραννική δυστοπία (ως αποτέλεσμα παγκόσμιων κοινωνικών αναταραχών και πολέμων) που όμοια της δεν έχουμε δει ούτε στα πιο καταθλιπτικά sci-fi έργα.

Αλλά είμαι πεσιμιστής εκ φύσεως, και πάντα περιμένω το χειρότερο που μπορεί να συμβεί.

[Dwarven Blacksmith]

Δηλαδή οι πληροφορικάριοι λέτε πως δεν υπάρχει λόγος ανησυχίας, όλα θα πάνε καλά, και οι ανθρώπινες κοινωνίες είναι ήδη έτοιμες ή θα προσαρμοστούν εύκολα στις αλλαγές που θα φέρει το ΑΙ. ΟΚ, εδώ θα είμαστε.

Αν η θέση σου ήταν "η προσαρμογή θα είναι δύσκολη", θα ήταν πιο δύσκολο να της επιτεθεί κανείς.

Καλά, εδώ μας είπες χτες το βράδυ για σαμαράκι, που μπορεί να σημαίνει από την απόλυση σου μέχρι τον θάνατο δισεκατομμυρίων σε έναν ολοκληρωτικό πυρηνικό πόλεμο, στην δική μου θέση κόλλησες;

Η δική μου θέση είναι πως μέχρι το τέλος του αιώνα θα έχουμε ζήσει μία τυραννική δυστοπία (ως αποτέλεσμα παγκόσμιων κοινωνικών αναταραχών και πολέμων) που όμοια της δεν έχουμε δει ούτε στα πιο καταθλιπτικά sci-fi έργα.

Αλλά είμαι πεσιμιστής εκ φύσεως, και πάντα περιμένω το χειρότερο που μπορεί να συμβεί.

Θα δεις ότι άλλοι στο νήμα θα λένε εμένα πεσσιμιστή και νεολουδίτη επειδή γράφω για προσεκτικά βήματα, κατανόηση, ενισχυμένες αναρτήσεις για το σαμαράκι, κλπ.
Οπότε δεν αντιπροσωπεύω το άλλο άκρο του άκρατου οπτιμισμού. Είμαι όμως οπτιμιστής σε ότι αφορά την ικανότητα των κοινωνιών over the long term να προσαρμοστούν σε νέες υλικές συνθήκες. Για το AGI δεν έχουμε καθόλου ιστορικά δεδομένα, οπότε είμαι πιο επιφυλακτικός.

[ST48410]

Η απορία μου είναι: αυτό είναι κάτι που σε σοκάρει το ίδιο με την αυτοματοποίηση παραγωγής και κατανάλωσης κειμένων φυσικής γλώσσας, ή θεωρείς πως τα κείμενα των διαδικτυακών πρωτοκόλλων, των μορφών εικόνας και των διαφόρων γλωσσών προγραμματισμού είναι πιο "δεύτερα"; Γιατί σε διαβεβαιώ ότι όντως θα μπορούσαν όλα αυτά που περιγράφω πιο πάνω να γίνονται από ανθρώπους με το χέρι (μάλιστα ΟΝΤΩΣ γίνονταν κάποτε) και όντως η αυτοματοποίηση καταργεί τρισεκατομμύρια ανθρωποώρες εργασίας που θα υπήρχαν απουσία αυτής.

Την ώρα που καταργούνταν αυτές οι τρισεκατομμύρια ανθρωποώρες εργασίας, άνοιγαν θέσεις σε χίλιους δυο τομείς έρευνας, παραγωγής και όχι μόνο. Για την ώρα δεν μπορούμε να φανταστούμε μια αντίστοιχη έκρηξη δημιουργίας νέων θέσεων.

Πιθανόν να υπάρχουν, πιθανόν να μη μας κόβει αρκετά ώστε να φανταστούμε το μέλλον. Έχει ξανασυμβεί πολλές φορές στην ιστορία. Ωστόσο τώρα που μιλάμε μοιάζει πως δεν θα είναι εύκολη μια ισορροπία. Ότι ο ρυθμός κατάργησης θέσεων θα είναι αυξημένος. Θα δείξει.

Προσωπικά με ανησυχεί αρκετά ότι θα αναβαθμιστεί δραματικά η ικανότητα κάθε τρελαμένου φανατικού να φτιάξει μια αυτοσχέδια βόμβα και να σκοτώσει μεγάλους αριθμούς.

[ST48410]

over the long term να προσαρμοστούν σε νέες υλικές συνθήκες.

Εδώ είναι το ζουμί. Αν είναι πολύ μακρύ το διάστημα προσαρμογής σε μια νέα ισορροπία, να το βράσω.

[Green Dragon]

Η απορία μου είναι: αυτό είναι κάτι που σε σοκάρει το ίδιο με την αυτοματοποίηση παραγωγής και κατανάλωσης κειμένων φυσικής γλώσσας, ή θεωρείς πως τα κείμενα των διαδικτυακών πρωτοκόλλων, των μορφών εικόνας και των διαφόρων γλωσσών προγραμματισμού είναι πιο "δεύτερα"; Γιατί σε διαβεβαιώ ότι όντως θα μπορούσαν όλα αυτά που περιγράφω πιο πάνω να γίνονται από ανθρώπους με το χέρι (μάλιστα ΟΝΤΩΣ γίνονταν κάποτε) και όντως η αυτοματοποίηση καταργεί τρισεκατομμύρια ανθρωποώρες εργασίας που θα υπήρχαν απουσία αυτής.

Την ώρα που καταργούνταν αυτές οι τρισεκατομμύρια ανθρωποώρες εργασίας, άνοιγαν θέσεις σε χίλιους δυο τομείς έρευνας, παραγωγής και όχι μόνο. Για την ώρα δεν μπορούμε να φανταστούμε μια αντίστοιχη έκρηξη δημιουργίας νέων θέσεων.

Πιθανόν να υπάρχουν, πιθανόν να μη μας κόβει αρκετά ώστε να φανταστούμε το μέλλον. Έχει ξανασυμβεί πολλές φορές στην ιστορία. Ωστόσο τώρα που μιλάμε μοιάζει πως δεν θα είναι εύκολη μια ισορροπία. Ότι ο ρυθμός κατάργησης θέσεων θα είναι αυξημένος. Θα δείξει.

Προσωπικά με ανησυχεί αρκετά ότι θα αναβαθμιστεί δραματικά η ικανότητα κάθε τρελαμένου φανατικού να φτιάξει μια αυτοσχέδια βόμβα και να σκοτώσει μεγάλους αριθμούς.

Ο ρυθμός κατάργησης θέσεων εργασίας θ' αυξηθεί παραβολικά, είναι σημείο καμπής το ΑΙ. Το σημερινό οικονομικό σύστημα θα καταστεί μη βιώσιμο.

[omg kai 3 lol]

απο το video που παρεθεσε ο νανος πιο πισω:

[klg]

Δηλαδή οι πληροφορικάριοι λέτε πως δεν υπάρχει λόγος ανησυχίας, όλα θα πάνε καλά, και οι ανθρώπινες κοινωνίες είναι ήδη έτοιμες ή θα προσαρμοστούν εύκολα στις αλλαγές που θα φέρει το ΑΙ. ΟΚ, εδώ θα είμαστε.

Απλά είμαστε περισσότερο πεσσιμιστές/ρεαλιστές από εσένα μάλλον σε σχέση με την πιθανή πρόοδο αυτό του πράγματος. Εννοώ πριν 70 χρόνια πιστεύαμε ότι θα είχαμε ιπτάμενα αυτοκίνητα το 2023 and guess what.

[Λεγεών]

Μπορει να κοπεί η δικη μου θεση εργασιας αυριο? Ειμαι μεσα! Θυσιάζομαι πρώτος απ'ολους, αν θελετε.

Πρόσεχε πολύ καλά τι εύχεσαι. Στον σημερινό καπιταλισμό, αν ένας ΑΙ engineer και το AI license βγαίνουν φτηνότερα σε βάθος μερικών ετών (και βελτιώσεων του ΑΙ) σε σχέση με εσένα και άλλους 10 σαν εσένα που είστε στην ίδια ομάδα, τότε και οι 11 προετοιμάζεστε για επίδομα ανεργίας.

Και στον σημερινό καπιταλισμό αν δεν δουλεύεις, δεν έχεις να ζήσεις. Δεν ξέρω πως το έχετε στο μυαλό σας, ότι δηλαδή θα έρθει το ΑΙ και θα έχετε άπλετο ελεύθερο χρόνο να ξαπλώνετε στα ανάκλιντρα ενώ βλέπετε το τρίτο όργιο της ημέρας τρώγοντας σταφύλια πριν ακόμα πάει 10 το πρωί ή θα μπορείτε να τρέχετε ελεύθερα στους αγρούς και όλα θα είναι τέλεια γιατί θα έχετε 24 ώρες της ημέρας ολοδικές σας. Αν τα πιστεύετε αυτά, ξέρω αρκετούς νιγηριανούς πρίγκηπες να σας γνωρίσω.

Γκετοποιημένα megacities με 98% φτωχομπινέδες θα είναι το μέλλον μας, και χωρίς την οποιαδήποτε ελπίδα.

[klg]

Γιατροί επίσης, θα μπαίνεις σε ένα κουβούκλιο (όπως στο Prometheus), θα τρέχει ό,τι εξετάσεις το προγραμματίσουν να κάνει, θα παίρνει αίμα, θα σου κάνει ακτινογραφίες, θα βγάζει διάγνωση και θα σου γράφει και φάρμακα.

επίκληση στον Riddley Scott μαλάκα μου

[Λεγεών]

Δηλαδή οι πληροφορικάριοι λέτε πως δεν υπάρχει λόγος ανησυχίας, όλα θα πάνε καλά, και οι ανθρώπινες κοινωνίες είναι ήδη έτοιμες ή θα προσαρμοστούν εύκολα στις αλλαγές που θα φέρει το ΑΙ. ΟΚ, εδώ θα είμαστε.

Απλά είμαστε περισσότερο πεσσιμιστές/ρεαλιστές από εσένα μάλλον σε σχέση με την πιθανή πρόοδο αυτό του πράγματος. Εννοώ πριν 70 χρόνια πιστεύαμε ότι θα είχαμε ιπτάμενα αυτοκίνητα το 2023 and guess what.

Ταυτόχρονα πριν 70 χρόνια δεν μπορούσαμε να φανταστούμε το κινητό τηλέφωνο, τα social media, τα ηλεκτρικά αυτοκίνητα, τα ασύρματα δίκτυα, και πάει λέγοντας.

[Green Dragon]

Μπορει να κοπεί η δικη μου θεση εργασιας αυριο? Ειμαι μεσα! Θυσιάζομαι πρώτος απ'ολους, αν θελετε.

Πρόσεχε πολύ καλά τι εύχεσαι. Στον σημερινό καπιταλισμό, αν ένας ΑΙ engineer και το AI license βγαίνουν φτηνότερα σε βάθος μερικών ετών (και βελτιώσεων του ΑΙ) σε σχέση με εσένα και άλλους 10 σαν εσένα που είστε στην ίδια ομάδα, τότε και οι 11 προετοιμάζεστε για επίδομα ανεργίας.

Και στον σημερινό καπιταλισμό αν δεν δουλεύεις, δεν έχεις να ζήσεις. Δεν ξέρω πως το έχετε στο μυαλό σας, ότι δηλαδή θα έρθει το ΑΙ και θα έχετε άπλετο ελεύθερο χρόνο να ξαπλώνετε στα ανάκλιντρα ενώ βλέπετε το τρίτο όργιο της ημέρας τρώγοντας σταφύλια πριν ακόμα πάει 10 το πρωί ή θα μπορείτε να τρέχετε ελεύθερα στους αγρούς και όλα θα είναι τέλεια γιατί θα έχετε 24 ώρες της ημέρας ολοδικές σας. Αν τα πιστεύετε αυτά, ξέρω αρκετούς νιγηριανούς πρίγκηπες να σας γνωρίσω.

Γκετοποιημένα megacities με 98% φτωχομπινέδες θα είναι το μέλλον μας, και χωρίς την οποιαδήποτε ελπίδα.

Μπα...

Από υλικής απόψεως μάλλον θα είμαστε τουλάχιστον ικανοποιητικά, ειδικά αν σβήσει το πρόβλημα του υπερπληθυσμού που είναι πολύ πιθανό. Καπιταλισμός με μηδενική αξία εργασίας δεν υπάρχει, θα εφαρμοστεί κεντρικός σχεδιασμός για την διανομή των αγαθών. Αλλού θα είναι τα προβλήματα, στο θέμα της ψυχολογίας και των ελευθεριών.

[klg]

Δηλαδή οι πληροφορικάριοι λέτε πως δεν υπάρχει λόγος ανησυχίας, όλα θα πάνε καλά, και οι ανθρώπινες κοινωνίες είναι ήδη έτοιμες ή θα προσαρμοστούν εύκολα στις αλλαγές που θα φέρει το ΑΙ. ΟΚ, εδώ θα είμαστε.

Απλά είμαστε περισσότερο πεσσιμιστές/ρεαλιστές από εσένα μάλλον σε σχέση με την πιθανή πρόοδο αυτό του πράγματος. Εννοώ πριν 70 χρόνια πιστεύαμε ότι θα είχαμε ιπτάμενα αυτοκίνητα το 2023 and guess what.

Ταυτόχρονα πριν 70 χρόνια δεν μπορούσαμε να φανταστούμε το κινητό τηλέφωνο, τα social media, τα ηλεκτρικά αυτοκίνητα, τα ασύρματα δίκτυα, και πάει λέγοντας.

Ε ναι ρε μπρο, αλλά AGI σε apocalyptic επίπεδα δεν νομίζω ότι είναι comparable με ηλεκτρικά αυτοκίνητα. Εμένα μου φαίνεται περισσότερο ανησυχητικό το να πάρει traction το VR scene, δεδομένου πόσο terminally online είναι ο μέσος δυτικός άνθρωπος, από τον glorified Clippy που κάνει automate το excel μου με ένα prompt.

[foscilis]

Οι πληροφορικαριοι σε λίγα χρόνια θα είναι ότι ο τσαγκάρης σήμερα

Οχι οτι ο τσαγκαρης, οι περισσοτεροι οτι ο τυπος που περναγε και πουλαγε παγο και τον αντικατεστησε το ψυγειο.

Κατά την γνώμη μου πάλι θα υπάρχουν αλλά σε πολύ μικρότερο αριθμό. Αντί να έχεις 100 άτομα που γράφουν κώδικα θα έχεις 2-3 senior να επιβλέπουν.

Θα επαναλάβω ότι και τώρα μπορείς να ξεκινήσεις να εισάγεις αριθμούς σε ένα αρχείο με έναν binary editor:

127 69 76 70 2 1 1 0 0 0 0 0 0 0 0 0
3 0 62 0 1 0 0 0 48 65 162 5 0 0 0 0
64 0 0 0 0 0 0 0 72 50 227 12 0 0 0 0
0 0 0 0 64 0 56 0 12 0 64 0 35 0 34 0
6 0 0 0 4 0 0 0 64 0 0 0 0 0 0 0
64 0 0 0 0 0 0 0 64 0 0 0 0 0 0 0
160 2 0 0 0 0 0 0 160 2 0 0 0 0 0 0
8 0 0 0 0 0 0 0 3 0 0 0 4 0 0 0
224 2 0 0 0 0 0 0 224 2 0 0 0 0 0 0
224 2 0 0 0 0 0 0 28 0 0 0 0 0 0 0
...αλλα 226 εκατομμύρια αριθμοί...

και το αποτέλεσμα να είναι το εκτελέσιμο του Google Chrome. Αλήθεια μπορείς. Έτσι δουλεύει βασικά. Ήταν και ο μόνος τρόπος να γράψεις κώδικα μέχρι τη δεκαετία του 1950 που βγήκαν οι αυτόματοι assemblers (ως τότε οι assemblers ήταν άνθρωποι). Και μάλιστα δεν υπήρχε ούτε καν binary editor, έπρεπε να τρυπάς τους δυαδικούς αριθμούς σε χαρτονένιες κάρτες αλλά ας το αγνοήσουμε αυτό.

O assembler με τη σειρά του απλά σου επιτρέπει να χρησιμοποιείς σύμβολα αντί για αριθμούς, τόσο για τις οδηγίες όσο και για τα δεδομένα. Δε γράφεις:

77 137 102 232

αλλά

mov %r12,-0x18(%r14)

που είναι βελτίωση γιατί σκέφτεσαι με όρους όπως "μετακινώ" (mov), "καταχωρητής 12", "καταχωρητής 14".

Αλλά αληθινό βήμα μπροστά είναι ο compiler που σου επιτρέπει να γράφεις πράγματα όπως
a = b+2
και αυτά να γίνονται πρώτα συμβολική assembly και μετά γλώσσα μηχανής. Ή ο interpreter που παίρνει εντολές σαν κείμενο και τις εκτελεί εκείνη τη στιγμή. Μιλάμε για πράγματα που μείωναν 100 φορές την απαιτούμενη δουλειά για να γράψεις το ίδιο πρόγραμμα.

Το αποτέλεσμα όμως κάθε φορά δεν ήταν να ασχολούνται εκατό φορές λιγότεροι άνθρωποι με τον προγραμματισμό, ήταν να ασχολούνται εκατομμύρια φορές περισσότεροι σε εφαρμογές που πριν ήταν αδιανόητα πολύπλοκες και ξαφνικά έγιναν εφικτές. Αντί να ασχολούνται με μαλακίες όπως αν το mov είναι το νούμερο 77 ή το νούμερο 78.

[Dwarven Blacksmith]

Μπορει να κοπεί η δικη μου θεση εργασιας αυριο? Ειμαι μεσα! Θυσιάζομαι πρώτος απ'ολους, αν θελετε.

Πρόσεχε πολύ καλά τι εύχεσαι. Στον σημερινό καπιταλισμό, αν ένας ΑΙ engineer και το AI license βγαίνουν φτηνότερα σε βάθος μερικών ετών (και βελτιώσεων του ΑΙ) σε σχέση με εσένα και άλλους 10 σαν εσένα που είστε στην ίδια ομάδα, τότε και οι 11 προετοιμάζεστε για επίδομα ανεργίας.

Και στον σημερινό καπιταλισμό αν δεν δουλεύεις, δεν έχεις να ζήσεις. Δεν ξέρω πως το έχετε στο μυαλό σας, ότι δηλαδή θα έρθει το ΑΙ και θα έχετε άπλετο ελεύθερο χρόνο να ξαπλώνετε στα ανάκλιντρα ενώ βλέπετε το τρίτο όργιο της ημέρας τρώγοντας σταφύλια πριν ακόμα πάει 10 το πρωί ή θα μπορείτε να τρέχετε ελεύθερα στους αγρούς και όλα θα είναι τέλεια γιατί θα έχετε 24 ώρες της ημέρας ολοδικές σας. Αν τα πιστεύετε αυτά, ξέρω αρκετούς νιγηριανούς πρίγκηπες να σας γνωρίσω.

Γκετοποιημένα megacities με 98% φτωχομπινέδες θα είναι το μέλλον μας, και χωρίς την οποιαδήποτε ελπίδα.

Όπως είπα, βασικό συστατικό κάθε δυστοπίας είναι μια στατική κοινωνία.
Και εσύ λες λοιπόν "στον σημερινό καπιταλισμό", συμφωνώντας ουσιαστικά μαζί μου. Για ποιο λόγο να έχουμε κάτι τέτοιο όταν οι δυνάμεις των υλικών συνθηκών σπρώχνουν ανελέητα προς κάτι άλλο. Όλες δυστοπίες θα είναι, μια ουτοπία δεν θα βρεθεί να πηδήξουμε το φτάχτη;

Όση αντίσταση κι αν υπάρξει, θα καμφθεί τόσο σίγουρα όσο η σταγόνα που τρυπάει το μάρμαρο.