ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Transcript

1 ΘΕΜΑ ο (.5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις Τετάρτη Ιουνίου 7 :-4: Κατασκευάστε έναν αισθητήρα (perceptron) µε τρεις εισόδους Α, Β και Γ, του οποίου η έξοδος να αναπαριστά τη συνάρτηση (Α Β) Γ, όπου η λογική σύζευξη (AND) και η λογική διάζευξη (OR). Μην εκτελέσετε εκπαίδευση. Ο νευρώνας θα έχει τρεις εισόδους συν την τάση πόλωσης. Πρέπει λοιπόν να βρούµε τα τέσσερα βάρη του νευρώνα. Τα παραδείγµατα εκπαίδευσης είναι τα εξής οκτώ: # Α Β Γ Έξοδος (A Β) Γ Εάν τα τοποθετήσουµε πάνω σε τρισδιάστατο µοναδιαίο κύβο παίρνουµε την παρακάτω εικόνα, όπου µε άσπρη σφαίρα φαίνονται τα παραδείγµατα που δίνουν έξοδο και µε µαύρη σφαίρα αυτά που δίνουν έξοδο : Γ Β Α Είναι φανερό ότι υπάρχουν δύο κατηγορίες παραδειγµάτων, οι οποίες είναι µάλιστα και γραµµικώς διαχωρίσιµες. Πράγµατι, εάν θεωρήσουµε επίπεδο το οποίο διέρχεται από τα σηµεία µε τις κόκκινες βούλες, αυτό διέρχεται από τα εξής σηµεία:,,.5,.5,.5,, και χωρίζει τις δύο κατηγορίες παραδειγµάτων. Η εξίσωση του επιπέδου αυτού θα είναι της µορφής: αα + ββ + γγ + δ = 86

2 και θα πρέπει να ικανοποιείται από τα παραπάνω σηµεία. Έχουµε λοιπόν το σύστηµα εξισώσεων:.5γ+δ= α+.5β+δ=.5α+β+δ= Έχουµε σύστηµα µε 3 εξισώσεις και 4 αγνώστους. Μπορούµε λοιπόν να αναθέσουµε τυχαία τιµή σε έναν από τους τέσσερις αγνώστους και στη συνέχεια να βρούµε τις τιµές των υπολοίπων τριών. Επιλέγουµε λοιπόν δ=-3 οπότε προκύπτει γ=6. Οι δύο τελευταίες εξισώσεις γίνονται λοιπόν: α+.5β = 3.5α+β = 3 Από αυτές φαίνεται ότι α=β=. Άρα η εξίσωση του επιπέδου είναι Α+Β+6Γ-3=. Από την εξίσωση αυτή προκύπτουν και τα βάρη του αισθητήρα τα οποία είναι όπως στο παρακάτω σχήµα: b= w b =-3 Α Β Γ w Β = w Α = w Γ =6 Μπορούµε να επαληθεύσουµε από τον πίνακα των παραδειγµάτων ότι το παραπάνω νευρωνικό δίκτυο βγάζει πράγµατι σωστά αποτελέσµατα (οπότε και δεν χρειάζεται να αντιστρέψουµε τα βάρη). ΘΕΜΑ ο (.5 µονάδες) Έστω ένα δίκτυο αυτοοργάνωσης (self-organizing feature map) µε εισόδους και 9 ανταγωνιστικούς νευρώνες διατεταγµένους σε ορθογώνιο πλέγµα 3x3. Η τρέχουσα ακτίνα της γειτονιάς είναι. Στον παρακάτω πίνακα φαίνονται οι τρέχουσες τιµές των βαρών των νευρώνων. Συντεταγµένες νευρώνα ιάνυσµα βαρών (,) [.,.] (,) [.,.5] (,3) [.,.7] (,) [.4,.] (,) [.6,.6] (,3) [.5,.8] (3,) [.8,.] (3,) [.,.5] (3,3) [.9,.8] ίνεται το παράδειγµα εκπαίδευσης [.3,.3]. είξτε πώς αλλάζουν τα βάρη των νευρώνων του δικτύου µετά την εµφάνιση του παραδείγµατος. Θεωρείστε απόσταση Manhattan και ρυθµό µάθησης a=.5. ίνεται ο κανόνας µάθησης Kohonen: Wi'=Wi+a(X-Wi). Για το συγκεκριµένο παράδειγµα εκπαίδευσης θα βρούµε ποιος νευρώνας είναι ο νικητής, και θα χρησιµοποιούµε τον κανόνα Kohonen για να αλλάξουµε τα βάρη του. Στη συνέχεια θα βρούµε τους 87

3 νευρώνες που βρίσκονται σε απόσταση έως από τον νικητή και θα αλλάξουµε και αυτών τα βάρη, χρησιµοποιώντας όµως ως ρυθµό µάθησης την τιµή a/=.5. Οι αποστάσεις των νευρώνων από το παράδειγµα είναι οι εξής: Νευρώνας (,): (.3-.) + (.3-.) =(.) +(.) =.4+.=.5 Νευρώνας (,): (.3-.) + (.3-.5) =(.) +(-.) =.+.4=.5 Νευρώνας (,3): (.3-.) + (.3-.7) =(.3) +(-.4) =.9+.6=.5 Νευρώνας (,): (.3-.4) + (.3-.) =(-.) +. =.+.=. Νευρώνας (,): (.3-.6) + (.3-.6) =(-.3) +(-.3) =.9+.9=.8 Νευρώνας (,3): (.3-.5) + (.3-.8) =(-.) +(-.5) =.4+.5=.9 Νευρώνας (3,): (.3-.8) + (.3-.) =(-.5) +(.) =.5+.4=.9 Νευρώνας (3,): (.3-.) + (.3-.5) =(-.7) +(-.) =.49+.4=.53 Νευρώνας (3,3): (.3-.9) + (.3-.8) =(-.6) +(-.5) =.36+.5=.6 Από τα παραπάνω φαίνεται ότι νικητής είναι ο νευρώνας (,), οπότε η γειτονιά του αποτελείται από τους νευρώνες (,), (3,) και (,). Τα βάρη λοιπόν του νευρώνα (,) αλλάζουν σε: W (,) '=[.4,.]+.5([.3,.3]-[.4,.])=[.4,.]+.5([-.,.]) =[.4,.]+[-.5,.5]=[.35,.5] Θα αλλάξουν όµως και τα βάρη των γειτονικών νευρώνων ως εξής: W (,) '=[.,.]+.5([.3,.3]-[.,.])=[.,.]+.5([.,.]) =[.,.]+[.5,.5]=[.5,.5] W (3,) '=[.8,.]+.5([.3,.3]-[.8,.])=[.8,.]+.5([-.5,.]) =[.8,.]+[-.5,.5]=[.675,.5] W (,) '=[.6,.6]+.5([.3,.3]-[.6,.6])=[.6,.6]+.5([-.3,-.3]) =[.6,.6]+[-.75,-.75]=[.55,.55] Τα βάρη των υπολοίπων νευρώνων δεν αλλάζουν. ΘΕΜΑ 3 ο (.5 µονάδες) α) Κατασκευάστε ένα δίκτυο Hopfield για την αποθήκευση των παρακάτω διανυσµάτων (.5): [, -,,, -, ] [,,,, -, -] β) Βρείτε την έξοδο του δικτύου όταν στην είσοδό του εµφανιστεί το διάνυσµα (): [, -, -, -, -, ]. α) Το δίκτυο Hopfield θα αποτελείται από 6 νευρώνες, κάθε ένας από τους οποίους συνδέεται µε όλους τους άλλους εκτός από τον εαυτό του. Πρώτα υπολογίζουµε τα βάρη των συνδέσεων: 88

4 89 [ ] [ ] = + = + Τα βάρη των συνδέσεων των νευρώνων προκύπτουν από τον παραπάνω πίνακα, εάν µηδενίσουµε όλα τα στοιχεία της κυρίας διαγωνίου του: β) Έστω ότι στην είσοδο εµφανίζεται το διάνυσµα [, -, -, -, -, ]. Θα υπολογίσουµε τις νέες τιµές των εξόδων. Για τον πρώτο κύκλο υπολογισµών επιλέγουµε τη σειρά 3,, 4, 6, και 5. Έχουµε λοιπόν: η επανάληψη: Νευρώνας 3 Είσοδος = *+*(-)-*(-)= Έξοδος = Νέο διάνυσµα = [, -,, -, -, ] Νευρώνας Είσοδος = *+*(-)-*(-)= Έξοδος = Νέο διάνυσµα = [, -,, -, -, ] Νευρώνας 4 Είσοδος = *+*-*(-)=6 Έξοδος = 6

5 Νέο διάνυσµα = [, -,,, -, ] Νευρώνας 6 Είσοδος = -*(-)= Έξοδος = Νέο διάνυσµα = [, -,,, -, ] Νευρώνας Είσοδος = -*()=- Έξοδος = - Νέο διάνυσµα = [, -,,, -, ] Νευρώνας 5 Είσοδος = *-*-*=- Έξοδος = - Νέο διάνυσµα = [, -,,, -, ] Ήδη το διάνυσµα εξόδου ταυτίζεται µε ένα από τα δύο αρχικά διανύσµατα από τα οποία κατασκευάστηκε το δίκτυο Hopfield. Κανονικά πρέπει να εκτελεστεί µία ακόµη επανάληψη, στην οποία απλά θα επιβεβαιωθεί ότι δεν αλλάζουν οι έξοδοι. Έτσι η έξοδος του δικτύου είναι η [, -,,, -, ]. 9

6 ΘΕΜΑ 4 ο (.5 µονάδες) Έστω το πρόβληµα του πλανόδιου πωλητή µε 6 πόλεις, µε τις µεταξύ τους αποστάσεις να φαίνονται στον παρακάτω πίνακα (θεωρούµε ότι υπάρχει άµεση σύνδεση µεταξύ οποιουδήποτε ζεύγους πόλεων). Α Β Γ Ε Ζ Α Β Γ Ε Ζ Σχεδιάστε έναν γενετικό αλγόριθµο για να βρείτε τη συντοµότερη διαδροµή που διέρχεται από όλες τις πόλεις. Χρησιµοποιείστε πληθυσµό 4 χρωµοσωµάτων που ανανεώνεται πλήρως από γενιά σε γενιά. Προσοµοιώστε την εκτέλεση του γενετικού αλγορίθµου για µία γενιά, χρησιµοποιώντας τους παρακάτω τυχαίους αριθµούς.,46374,34374,439749,68675,78773,336385,857697,5466,733548,64739,84657,57579,69738,3356,9559,89475,79656,3556,633967,78698,54763,8884,494,44776,6783,66,88,38447,485948,9485,34495,38887,493,678,35779,83456,44446,854376,75969,7447,37438,54655,975,5745,367,77,693,8587,4333,686798,77,565,333,3669,44754,747949,57844,56,55549,436496,4764,73637,86684,547,68,8964,547473,45776,33,9544,9355,8957,637368,6687,6697,458,994,449968,8597,73793,3656,7363,744999,8894,4567,955587,6988,679,875,8675,33675,5984,9773,4389,8477,3585,489,8665,5883,9483 Θα χρησιµοποιήσουµε αριθµητική κωδικοποίηση, όπου κάθε χρωµόσωµα αποτελείται από ένα διάνυσµα έξι ακεραίων αριθµών (από το έως το 6 έκαστος), διαφορετικών µεταξύ τους. Θα χρησιµοποιήσουµε τον τροποποιηµένο τελεστή διασταύρωσης δύο θέσεων, ενώ, όσον αφορά τη µετάλλαξη, κάθε πόλη, εφόσον επιλεγεί για µετάλλαξη, θα ανταλλάσει θέση µε την αµέσως επόµενή της (και η τελευταία µε την πρώτη) µε πιθανότητα.. Η συνάρτηση καταλληλότητας θα εξαρτάται από το µήκος της διαδροµής, π.χ. F(x)=- x, όπου x ένα χρωµόσωµα και x το µήκος της διαδροµής που αντιστοιχεί στο χρωµόσωµα αυτό. Για τη δηµιουργία του αρχικού πληθυσµού θα χρησιµοποιήσουµε τουλάχιστον τους πρώτους αριθµούς (5 για κάθε χρωµόσωµα, για την 6 η πόλη του χρωµοσώµατος δεν χρειάζεται να γίνει επιλογή). Κάθε ένας από αυτούς πολλαπλασιάζεται µε το 6 και το αποτέλεσµα στρογγυλοποιείται στον πλησιέστερο προς τα πάνω ακέραιο. Εάν ο ακέραιος αυτός έχει εισαχθεί ήδη στο χρωµόσωµα, χρησιµοποιείται ο επόµενος τυχαίος αριθµός. Ο αρχικός µας πληθυσµός είναι λοιπόν: # Χρωµόσωµα Μήκος διαδροµής Καταλληλότητα ΓΒΕΖ Α ΕΑΖ ΒΓ ΒΖΕΓ Α Ε ΑΓΒΖ Τελικά για τη δηµιουργία του παραπάνω πληθυσµού χρησιµοποιήθηκαν οι πρώτοι 7 τυχαίοι αριθµοί, δηλαδή µέχρι τον,88 (3 η σειρά, 7 ος αριθµός). Στη συνέχεια πρέπει να σχηµατίσουµε ζευγάρια χρωµοσωµάτων. Το άθροισµα των καταλληλοτήτων είναι 5. Επιλέγουµε λοιπόν 4 τυχαίους αριθµούς από το ως το 5 (πολλαπλασιάζοντας τους τέσσερις επόµενους αριθµούς του πίνακα µε το 5) και εάν κάποιος από αυτούς είναι στο διάστηµα [,47) επιλέγουµε το # χρωµόσωµα, εάν είναι στο [47,) επιλέγουµε το # χρωµόσωµα, εάν είναι στο [,6) επιλέγουµε το #3 χρωµόσωµα και εάν είναι στο [6,5) επιλέγουµε το #4 χρωµόσωµα. Σε περίπτωση που 9

7 για κάποιο ζευγάρι επιλεγεί δύο φορές το ίδιο χρωµόσωµα, χρησιµοποιούµε επόµενο τυχαίο αριθµό, µέχρι να επιλεγεί διαφορετικό χρωµόσωµα. Οι επόµενοι 4 τυχαίοι αριθµοί λοιπόν (πολλαπλασιασµένοι µε 5) είναι οι: 8, ,4788, ,9645 και τα ζευγάρια χρωµοσωµάτων που σχηµατίζονται είναι τα: Για κάθε ζευγάρι θα επιλεγούν σηµεία διασταύρωσης, κάθε ένα εκ των οποίων είναι ένας αριθµός από το έως και το 6, όπου ο τυχαίος αριθµός x στο διάστηµα αυτό υποδηλώνει τη θέση αµέσως µετά τον x-οστό αριθµό του χρωµοσώµατος. Για την επιλογή τυχαίου ακέραιου αριθµού από το έως το 6 πολλαπλασιάζουµε τον επόµενο τυχαίο αριθµό επί 7 και παίρνουµε το ακέραιο µέρος του αποτελέσµατος. Για το πρώτο ζευγάρι τα σηµεία διασταύρωσης που προκύπτουν είναι τα και, οπότε οι δύο απόγονοι είναι οι (η συµπλήρωση ξεκινά κάθε φορά µετά τη δεύτερη θέση): ΕΑΓ ΒΖ ΒΖ ΓΕΑ Για κάθε θέση κάθε ενός από τους απόγονους εξετάζουµε το ενδεχόµενο να γίνει µετάλλαξη. Θεωρήραµε ότι η πιθανότητα µετάλλαξης είναι.. Εξετάζουµε τους επόµενους αριθµούς, εάν κάποιος από αυτούς είναι µικρότερος από. τότε η αντίστοιχη πόλη ανταλλάσει θέση µε την επόµενή της. Κάτι τέτοιο συµβαίνει µόνο για την πρώτη πόλη του πρώτου απόγονου, οπότε το αποτέλεσµα είναι το εξής: ΑΕΓ ΒΖ ΒΖ ΓΕΑ Με τον ίδιο τρόπο επιλέγουµε δύο σηµεία διασταύρωσης για το δεύτερο ζευγάρι, τα οποία είναι οι θέσεις και. Έτσι οι δύο απόγονοι είναι οι: ΕΒΖ ΑΓ Γ ΑΒΖΕ Και πάλι ελέγχουµε την πιθανότητα µετάλλαξης, αλλά στους επόµενους αριθµούς δεν υπάρχει κάποιος µικρότερος από., οπότε δεν πραγµατοποιείται καµία µετάλλαξη. Το νέο σύνολο χρωµοσωµάτων µε τα χαρακτηριστικά τους είναι λοιπόν το: # Χρωµόσωµα Μήκος διαδροµής Καταλληλότητα ΑΕΓ ΒΖ 4 59 ΒΖ ΓΕΑ ΕΒΖ ΑΓ Γ ΑΒΖΕ 4 6 Η διαδικασία που περιγράφηκε παραπάνω πρέπει να συνεχισθεί µέχρις ότου είτε να συγκλίνει ο πληθυσµός είτε να συµπληρωθεί κάποιος προκαθορισµένος αριθµός επαναλήψεων. Σε κάθε περίπτωση ως «λύση» θα επιστραφεί το καλύτερο έγκυρο χρωµόσωµα που συναντήθηκε σε όλες τις γενιές πληθυσµών κατά το τρέξιµο του αλγορίθµου. ΘΕΜΑ 5 ο (.5 µονάδες) ίνεται το παρακάτω σύνολο δεδοµένων που αφορά αγορές διαφόρων κατηγοριών προϊόντων από τους πελάτες ενός σούπερ-µάρκετ. # Ζυµαρικά Σάλτσες Αναψυκτικά Απορρυπαντικά Κατεψυγµένα

8 Η διοίκηση του σούπερ-µάρκετ θέλει να ανακαλύψει συσχετίσεις µεταξύ των διαφόρων προϊόντων, ώστε να τοποθετήσει σχετικά προϊόντα σε κοντινά ράφια. Βρείτε όλους τους κανόνες συσχέτισης µε µία υπόθεση και ένα συµπέρασµα, που έχουν ελάχιστη υποστήριξη 5 και ελάχιστη εµπιστοσύνη 75%. Βρίσκουµε καταρχήν όλα τα σύνολα ενός στοιχείου µε υποστήριξη τουλάχιστον 5: {Ζυµαρικά=ναι}=8, {Ζυµαρικά=όχι}=6 {Σάλτσες=ναι}= {Αναψυκτικά=όχι}= {Απορρυπαντικά=ναι}=8, {Απορρυπαντικά=όχι}=6 {Κατεψυγµένα=ναι}=5, {Κατεψυγµένα=όχι}=9. Στη συνέχεια βρίσκουµε όλα τα σύνολα δύο στοιχείων, που έχουν υποστήριξη τουλάχιστον 5. Για το σκοπό αυτό συνδυάζουµε ζεύγη από τα παραπάνω σύνολα ενός στοιχείου: {Ζυµαρικά=ναι, Σάλτσες=ναι}=6, {Ζυµαρικά=ναι, Αναψυκτικά=όχι}=5, {Ζυµαρικά=ναι, Απορρυπαντικά=όχι}=5, {Ζυµαρικά=ναι, Κατεψυγµένα=όχι}=5, {Σάλτσες=ναι, Αναψυκτικά=όχι}=5, {Σάλτσες=ναι, Απορρυπαντικά=ναι}=7, {Σάλτσες=ναι, Κατεψυγµένα=όχι}=6, {Αναψυκτικά=όχι, Απορρυπαντικά=ναι}=6, {Αναψυκτικά=όχι, Κατεψυγµένα=όχι}=6, Από κάθε σύνολο δύο στοιχείων {Α,Β} µπορούν να προκύψουν δύο κανόνες: if A then B και if B then A. Η εµπιστοσύνη κάθε τέτοιου κανόνα ισούται µε το λόγο της υποστήριξης των δύο στοιχείων προς την υποστήριξη της προϋπόθεσης του κανόνα. Παρακάτω παραθέτουµε όλους τους κανόνες που προκύπτουν και πληρούν το κριτήριο της εµπιστοσύνης:. if Ζυµαρικά=ναι then Σάλτσες=ναι (6/8=.75). if Απορρυπαντικά=όχι then Ζυµαρικά=ναι (5/6=.83) 3. if Απορρυπαντικά=ναι then Σάλτσες=ναι (7/8=.875) 4. if Απορρυπαντικά=ναι then Αναψυκτικά=όχι (6/8=. 75) ΑΠΑΝΤΗΣΤΕ 4 ΑΠΟ ΤΑ ΠΑΡΑΠΑΝΩ 5 ΘΕΜΑΤΑ Ενδεικτικές λύσεις θα αναρτηθούν µετά την εξέταση στην ιστοσελίδα του µαθήµατος 93