έκανα λάθος για το deep learning

Λογισμικό, λειτουργικά συστήματα, προγραμματισμός, hardware, δίκτυα, Internet
Άβαταρ μέλους
nyxtovios
Δημοσιεύσεις: 12507
Εγγραφή: 15 Ιουν 2018, 19:14

Re: έκανα λάθος για το deep learning

Μη αναγνωσμένη δημοσίευση από nyxtovios » 01 Οκτ 2022, 23:28

sys3x έγραψε:
01 Οκτ 2022, 23:25
nyxtovios έγραψε:
01 Οκτ 2022, 23:20
ST48410 έγραψε:
01 Οκτ 2022, 23:06
Αν δεν βαριέστε γράψτε καμιά πληροφορία και για εμάς που είμαστε άσχετοι.

έχει λεχθεί σε αρκετά νήματα ξανά και ξανά ότι το AI δεν είναι αυτό που νομίζουμε ή τέλος πάντων το μάρκετινγκ το παρουσιάζει ως κάτι παραπάνω από ότι πραγματικά είναι. Αλλάζουμε γνώμη ως προς αυτό ή οι παρατηρήσεις στο παρόν θέμα είναι άσχετες;
Για αρχή αυτό που γράφει ο νηματοθέτης είναι λάθος.
Όλοι οι άνθρωποι κάνουνε κάποια στιγμή λάθος, μέχρι και εγώ εκείνη την φορά νόμιζα ότι έκανα λάθος αλλά μάντεψε.
Δεν είναι κακό να κάνεις λάθος, όταν νομίζεις ότι κάνεις λάθος που έκανες λάθος :102:

talaipwros
Δημοσιεύσεις: 24943
Εγγραφή: 30 Μαρ 2018, 18:54

Re: έκανα λάθος για το deep learning

Μη αναγνωσμένη δημοσίευση από talaipwros » 01 Οκτ 2022, 23:31

foscilis έγραψε:
01 Οκτ 2022, 23:24
Belladonna έγραψε:
01 Οκτ 2022, 22:13
foscilis έγραψε:
30 Σεπ 2022, 22:13
Δεν είναι κλασικά νευρωνικά δίκτυα rebranded με γκουγκλιστικης αισθητικής όνομα. Είναι κλασικά νευρωνικά δίκτυα με εκμάθηση αναπαράστασης (representation learning) τουτέστιν μαθαίνουν κατά την εκπαίδευση να εξάγουν features από τα δεδομένα και μάλιστα πολυεπίπεδα και κατ' αυξανόμενο επίπεδο αφαίρεσης όσο πας πιο μέσα (εξ ου και το deep)

Η λάθος άποψη μου με πήγε 4 χρόνια πίσω αλλά σε μια βδομάδα έχω ήδη κάνει παπάδες.
Με ποιό tool τα χρησιμοποιείς;
pytorch και λίγο scikit-learn
WEKA λεει τιποτα;

Άβαταρ μέλους
sys3x
Δημοσιεύσεις: 37588
Εγγραφή: 31 Μαρ 2018, 21:40
Τοποθεσία: m lagou

Re: έκανα λάθος για το deep learning

Μη αναγνωσμένη δημοσίευση από sys3x » 01 Οκτ 2022, 23:34

nyxtovios έγραψε:
01 Οκτ 2022, 23:28
sys3x έγραψε:
01 Οκτ 2022, 23:25
nyxtovios έγραψε:
01 Οκτ 2022, 23:20

Για αρχή αυτό που γράφει ο νηματοθέτης είναι λάθος.
Όλοι οι άνθρωποι κάνουνε κάποια στιγμή λάθος, μέχρι και εγώ εκείνη την φορά νόμιζα ότι έκανα λάθος αλλά μάντεψε.
Δεν είναι κακό να κάνεις λάθος, όταν νομίζεις ότι κάνεις λάθος που έκανες λάθος :102:
Αληθές.
ΛΕΥΤΕΡΙΑ ΣΤΟΝ ΛΑΟ ΤΗΣ ΠΑΛΑΙΣΤΙΝΗΣ

.

Άβαταρ μέλους
nyxtovios
Δημοσιεύσεις: 12507
Εγγραφή: 15 Ιουν 2018, 19:14

Re: έκανα λάθος για το deep learning

Μη αναγνωσμένη δημοσίευση από nyxtovios » 01 Οκτ 2022, 23:36

sys3x έγραψε:
01 Οκτ 2022, 23:34
nyxtovios έγραψε:
01 Οκτ 2022, 23:28
sys3x έγραψε:
01 Οκτ 2022, 23:25

Όλοι οι άνθρωποι κάνουνε κάποια στιγμή λάθος, μέχρι και εγώ εκείνη την φορά νόμιζα ότι έκανα λάθος αλλά μάντεψε.
Δεν είναι κακό να κάνεις λάθος, όταν νομίζεις ότι κάνεις λάθος που έκανες λάθος :102:
Αληθές.
Εποχές γυμνασίου :smt005:

Άβαταρ μέλους
sys3x
Δημοσιεύσεις: 37588
Εγγραφή: 31 Μαρ 2018, 21:40
Τοποθεσία: m lagou

Re: έκανα λάθος για το deep learning

Μη αναγνωσμένη δημοσίευση από sys3x » 01 Οκτ 2022, 23:37

:g030:
:)
Ναι αλάνι μου.
ΛΕΥΤΕΡΙΑ ΣΤΟΝ ΛΑΟ ΤΗΣ ΠΑΛΑΙΣΤΙΝΗΣ

.

Άβαταρ μέλους
foscilis
Δημοσιεύσεις: 24347
Εγγραφή: 21 Ιουν 2018, 11:42

Re: έκανα λάθος για το deep learning

Μη αναγνωσμένη δημοσίευση από foscilis » 02 Οκτ 2022, 00:01

nyxtovios έγραψε:
01 Οκτ 2022, 23:27
ST48410 έγραψε:
01 Οκτ 2022, 23:22
nyxtovios έγραψε:
01 Οκτ 2022, 23:20

Για αρχή αυτό που γράφει ο νηματοθέτης είναι λάθος.
Ναι, αλλά πες και κάτι μπας και πάρουμε καμιά ιδέα.
Αναφερόμουν στο περιεχόμενο του πρώτου ποστ. Το deep learning είναι όντως ένα τρέντυ όνομα. Δεν υπάρχουν κλασσικά και μη κλασσικά νευρωνικά δίκτυα. Οποιοδήποτε νευρωνικό δίκτυο πέραν του ενός επιπέδου μαθαίνει representations και features.
Ναι αλλά στο deep learning το εκμεταλλεύσαι αυτό.

Στα κλασικά νευρωνικά δίκτυα τα κρυφά επίπεδα είναι όντως κρυφά. Στο deep learning μπορείς να πάρεις την έξοδο από ένα κρυφό επίπεδο και να τη χρησιμοποιήσεις σαν input για ένα εντελώς άλλο δίκτυο (ή να το περάσεις σε μεθεπόμενα επίπεδα όπως κάνουν διάφορα μοντέλα).

Δηλαδή σαν απλοϊκό παράδειγμα φτιάχνεις ένα 2048x150x40x2 που μαθαίνει να αναγνωρίζει αν ένα εκτελέσιμο είναι malware "κοιτώντας" 2048 bytes σε συγκεκριμένες θέσεις, και μπορείς να "κόψεις" το output επίπεδο και να πάρεις τα 40άρια διανύσματα από το προηγούμενό του τα οποία αποτελούν μια πάρα πολύ καλή "περίληψη" των αρχικών 2048, πολύ καλύτερη από αυτήν που θα κατέληγε μια ομάδα στατιστικολόγων η οποία θα καθόταν και θα ανέλυε τα ίδια πράγματα για μήνες.

Περαιτέρω σχεδιάζεις το όλο σύστημα ώστε να μπορεί να γίνει αυτό. Δεν προδιαθέτεις το σύστημα εισάγοντας δικές σου κατηγορικές μεταβλητές, βασίζεσαι σε συνελιξιακούς πυρήνες για να μπορεί το δίκτυο να "μασήσει" μεγάλες ακολουθίες δεδομένων, χρησιμοποιείς ένα δευτερεύον (γνωστό) αποτέλεσμα στο output που δε σε ενδιαφέρει μόνο και μόνο για έχει εφαρμογή η εποπτευόμενη μάθηση που θα σου δώσει τον feature extractor, συνδυάζεις δίκτυα μεταξύ τους φτάνοντας ακόμα και σε δεκάδες επίπεδα, καλωσορίζεις τον θόρυβο (όχι τον υπερβολικό βέβαια) ως κάτι που το δίκτυο θα μάθει να αντιλαμβάνεται. Ενώ με ένα κλασικό νευρωνικό δίκτυο δεν κάνεις κάτι διαφορετικό απ' ό,τι με οποιαδήποτε άλλη αμιγώς στατιστική μέθοδο: ξοδεύεις τον περισσότερο χρόνο σου για να σχεδιάσεις σωστά την αρχική αναπαράσταση και για να προετοιμάσεις πάρα πολύ καλά τα δεδομένα της εκπαίδευσης.

Όντως είναι όλα νευρωνικά δίκτυα με βασική μονάδα το perceptron, όντως λειτουργούν το ίδιο σαν ας πούμε κατασκευές. Αλλά ο τρόπος που τα χρησιμοποιείς είναι τελείως διαφορετικός, δηλαδή ο υπολογιστής όταν παίζει το calculator κι όταν παίζει το GTA δεν κάνει το ίδιο πράγμα μόνο και μόνο επειδή είναι και τα δύο προγράμματα που εκτελούνται σε μηχανή Φον Νόυμαν.

Άβαταρ μέλους
nyxtovios
Δημοσιεύσεις: 12507
Εγγραφή: 15 Ιουν 2018, 19:14

Re: έκανα λάθος για το deep learning

Μη αναγνωσμένη δημοσίευση από nyxtovios » 02 Οκτ 2022, 00:23

foscilis έγραψε:
02 Οκτ 2022, 00:01
nyxtovios έγραψε:
01 Οκτ 2022, 23:27
ST48410 έγραψε:
01 Οκτ 2022, 23:22


Ναι, αλλά πες και κάτι μπας και πάρουμε καμιά ιδέα.
Αναφερόμουν στο περιεχόμενο του πρώτου ποστ. Το deep learning είναι όντως ένα τρέντυ όνομα. Δεν υπάρχουν κλασσικά και μη κλασσικά νευρωνικά δίκτυα. Οποιοδήποτε νευρωνικό δίκτυο πέραν του ενός επιπέδου μαθαίνει representations και features.
Ναι αλλά στο deep learning το εκμεταλλεύσαι αυτό.

Στα κλασικά νευρωνικά δίκτυα τα κρυφά επίπεδα είναι όντως κρυφά. Στο deep learning μπορείς να πάρεις την έξοδο από ένα κρυφό επίπεδο και να τη χρησιμοποιήσεις σαν input για ένα εντελώς άλλο δίκτυο (ή να το περάσεις σε μεθεπόμενα επίπεδα όπως κάνουν διάφορα μοντέλα).
Αυτό μπορείς να το κάνεις σε οποιοδήποτε νευρωνικό δίκτυο, είτε έχεις 1 είτε 1000 επίπεδα. Ο όρος deep learning εμφανίστηκε όταν αποκτήθηκε η υπολογιστική κυρίως δυνατότητα να εκπαιδεύσεις δίκτυα με πολλά επίπεδα. Δεν υπάρχει καμία διαφορά στη λειτουργία. Επιπλέον δίκτυο με πολλά επίπεδα δεν ισοδυναμεί υποχρεωτικά με καλύτερη επίδοση. Ο σκοπός όλος του deep ή όχι deep learning είναι υποτίθεται να φτιάξεις ένα μοντέλο που να γενικεύει σωστά σε δεδομένα που δεν έχει δει. Είναι αρκετές οι περιπτώσεις που αν βάλεις πολλά επίπεδα κάνεις overfitting

Δηλαδή σαν απλοϊκό παράδειγμα φτιάχνεις ένα 2048x150x40x2 που μαθαίνει να αναγνωρίζει αν ένα εκτελέσιμο είναι malware "κοιτώντας" 2048 bytes σε συγκεκριμένες θέσεις, και μπορείς να "κόψεις" το output επίπεδο και να πάρεις τα 40άρια διανύσματα από το προηγούμενό του τα οποία αποτελούν μια πάρα πολύ καλή "περίληψη" των αρχικών 2048, πολύ καλύτερη από αυτήν που θα κατέληγε μια ομάδα στατιστικολόγων η οποία θα καθόταν και θα ανέλυε τα ίδια πράγματα για μήνες.
Κατάλαβα τι εννοείς. Αυτό το λέμε data compression συνήθως. Εσύ αν κατάλαβα θες να να μαζέψεις το ζουμί από κάποια δεδομένα, μπορείς να κοιτάξεις κάποιον τύπο νευρωνικού δικτύου εξειδικευμενο σε αυτά, π.χ. autoencoders. Απλά γενικά να ξέρεις δεν θα πάρεις υποχρεωτικά καλύτερα features και επιδόσεις αν πας deep.

Περαιτέρω σχεδιάζεις το όλο σύστημα ώστε να μπορεί να γίνει αυτό. Δεν προδιαθέτεις το σύστημα εισάγοντας δικές σου κατηγορικές μεταβλητές, βασίζεσαι σε συνελιξιακούς πυρήνες για να μπορεί το δίκτυο να "μασήσει" μεγάλες ακολουθίες δεδομένων, χρησιμοποιείς ένα δευτερεύον (γνωστό) αποτέλεσμα στο output που δε σε ενδιαφέρει μόνο και μόνο για έχει εφαρμογή η εποπτευόμενη μάθηση που θα σου δώσει τον feature extractor, συνδυάζεις δίκτυα μεταξύ τους φτάνοντας ακόμα και σε δεκάδες επίπεδα, καλωσορίζεις τον θόρυβο (όχι τον υπερβολικό βέβαια) ως κάτι που το δίκτυο θα μάθει να αντιλαμβάνεται. Ενώ με ένα κλασικό νευρωνικό δίκτυο δεν κάνεις κάτι διαφορετικό απ' ό,τι με οποιαδήποτε άλλη αμιγώς στατιστική μέθοδο: ξοδεύεις τον περισσότερο χρόνο σου για να σχεδιάσεις σωστά την αρχική αναπαράσταση και για να προετοιμάσεις πάρα πολύ καλά τα δεδομένα της εκπαίδευσης.

Όντως είναι όλα νευρωνικά δίκτυα με βασική μονάδα το perceptron, όντως λειτουργούν το ίδιο σαν ας πούμε κατασκευές. Αλλά ο τρόπος που τα χρησιμοποιείς είναι τελείως διαφορετικός, δηλαδή ο υπολογιστής όταν παίζει το calculator κι όταν παίζει το GTA δεν κάνει το ίδιο πράγμα μόνο και μόνο επειδή είναι και τα δύο προγράμματα που εκτελούνται σε μηχανή Φον Νόυμαν.
Εδώ ξεκινάει και το μπέρδεμα στους περισσότερους. Επειδή ανέφερες για συνελίξεις. Τα συνελικτικά δίκτυα είναι ένας τύπος νευρώνων, όπως και τα perceptrons. Δεν έχει καμιά σχέση για το αν θα είναι deep ή όχι. Μπορείς να έχεις και deep δίκτυο με perceptrons. Τα συνελικτικά δίκτυα είναι όπως έγραψες σωστά, κατάλληλα για μη δομημένα δεδομένα. π.χ. σήματα ή εικόνες, τα οποία μπορέι να έχουν 5000 σημεία πχ και να μας ενδιαφέρουν μόνο 100, τα οποία είναι κάπου τυχαία μέσα στο σήμα. Με το downsampling και το φιλτράρισμα απομονώνουν την χρήσιμη πληροφορία. Τα perceptrons τα χρησιμοποιούμε συνήθως για regression η classification σε δομημένα δεδομένα. Γενικά κάνουν τελείως άλλη δουλειά. Μπορείς να κάνεις preprocessing δεδομένων ή clustering ξέρω γω με συνελικτικά δίκτυα και να βάλεις το output σε ένα άλλο δίκτυο.
Απλά ο όρος deep learning δεν έχει κάποια συγκεκριμένη σημασία.


Άβαταρ μέλους
Puma
Δημοσιεύσεις: 925
Εγγραφή: 30 Σεπ 2020, 12:16
Τοποθεσία: Αθήνα

Re: έκανα λάθος για το deep learning

Μη αναγνωσμένη δημοσίευση από Puma » 03 Οκτ 2022, 08:34

Εικόνα
Cheatsheet.

Ακούμε συχνά για νευρωνικά δίκτυα και deep learning, τα οποία αποτελούν τεχνικές της μηχανικής μάθησης. Για την οποία μηχανική μάθηση, συνήθως διαβάζουμε ότι υπάρχουν δύο είδη: μάθηση με επίβλεψη και μάθηση χωρίς επίβλεψη.

Για όσους θέλουν να κάνουν μία αναζήτηση, υπάρχει και ένα τρίτο είδος το οποίο έχει πολύ ενδιαφέρον: η ενισχυτική μάθηση (reinforcement learning). Στην περίπτωση αυτή, ένας agent εκπαιδεύεται μόνος του μέσα από την αλληλεπίδρασή με το περιβάλλον, λαμβάνοντας επιβράβευση (rewards) ή τιμωρία (penalties). Μία κλασική τεχνική είναι η Q-learning και η επέκτασή της είναι η DQN (Deep Q-Learning).

Τη χρησιμοποιούν για να εκπαιδευτεί π.χ. ένα ρομπότ πώς θα κινηθεί στο χώρο ή ακόμα και για παίξει ένα πρόγραμμα κάποιο παιχνίδι, ακόμα και ενάντια σε άνθρωπο. Όπως είναι το AlphaGo, το οποίο κέρδισε έναν επαγγελματία παίκτη του Go.

stavmanr
Μέλη που αποχώρησαν
Δημοσιεύσεις: 31881
Εγγραφή: 14 Δεκ 2018, 11:41

Re: έκανα λάθος για το deep learning

Μη αναγνωσμένη δημοσίευση από stavmanr » 03 Οκτ 2022, 08:36

sys3x έγραψε:
01 Οκτ 2022, 23:25
nyxtovios έγραψε:
01 Οκτ 2022, 23:20
ST48410 έγραψε:
01 Οκτ 2022, 23:06
Αν δεν βαριέστε γράψτε καμιά πληροφορία και για εμάς που είμαστε άσχετοι.

έχει λεχθεί σε αρκετά νήματα ξανά και ξανά ότι το AI δεν είναι αυτό που νομίζουμε ή τέλος πάντων το μάρκετινγκ το παρουσιάζει ως κάτι παραπάνω από ότι πραγματικά είναι. Αλλάζουμε γνώμη ως προς αυτό ή οι παρατηρήσεις στο παρόν θέμα είναι άσχετες;
Για αρχή αυτό που γράφει ο νηματοθέτης είναι λάθος.
Όλοι οι άνθρωποι κάνουνε κάποια στιγμή λάθος, μέχρι και εγώ εκείνη την φορά νόμιζα ότι έκανα λάθος αλλά μάντεψε.
Δεν υπάρχει λάθος.
Είμαστε αλαθιστές.

Άβαταρ μέλους
sys3x
Δημοσιεύσεις: 37588
Εγγραφή: 31 Μαρ 2018, 21:40
Τοποθεσία: m lagou

Re: έκανα λάθος για το deep learning

Μη αναγνωσμένη δημοσίευση από sys3x » 03 Οκτ 2022, 10:10

stavmanr έγραψε:
03 Οκτ 2022, 08:36
sys3x έγραψε:
01 Οκτ 2022, 23:25
nyxtovios έγραψε:
01 Οκτ 2022, 23:20

Για αρχή αυτό που γράφει ο νηματοθέτης είναι λάθος.
Όλοι οι άνθρωποι κάνουνε κάποια στιγμή λάθος, μέχρι και εγώ εκείνη την φορά νόμιζα ότι έκανα λάθος αλλά μάντεψε.
Δεν υπάρχει λάθος.
Είμαστε αλαθιστές.
Φυσικά και υπάρχει αλλά δεν είμαστε ίσα κι όμοια σταβ, μη τρελένεσαι.
ΛΕΥΤΕΡΙΑ ΣΤΟΝ ΛΑΟ ΤΗΣ ΠΑΛΑΙΣΤΙΝΗΣ

.

Απάντηση


  • Παραπλήσια Θέματα
    Απαντήσεις
    Προβολές
    Τελευταία δημοσίευση

Επιστροφή στο “Πληροφορική”

Phorum.com.gr : Αποποίηση Ευθυνών