ONE WAY ANOVA. .Π.Μ.Σ. Μαθηµατικά των Υπολογιστών & των αποφάσεων. Πάτρα, 11 Ιανουαρίου 2011

Transcript

1 Πάτρα, 11 Ιανουαρίου 2011

2 Πίνακας Περιεχοµένων 1 completely random design with fixed effects 2 3

3 Πίνακας Περιεχοµένων 1 completely random design with fixed effects 2 3

4 Γενικά completely random design with fixed effects Εχουµε N πειραµατικά δεδοµένα και επιθυµούµε να µελετήσουµε τις επιδράσεις των k διαφορετικών ϑεραπειών Οπότε τα δεδοµένα διαιρούνται σε k υποοµάδες µεγέθους, αντίστοιχα, n 1, n 2,, n k ηλαδή οι k υποοµάδες µπορούµε να τις δούµε ότι αποτελούνται από ανεξάρτητα τυχαία δείγµατα µεγέθους n 1, n 2,, n k αντίστοιχα, τα οποία έχουν προέλθει από πληθυσµούς µε µέσες τιµές, µ 1, µ 2,, µ k, αντίστοιχα Βασικός έλεγχος H 0 : µ 1 = µ 2 = = µ k vs H 1 : µ i µ j για κάποιοi j

5 Επεξήγηση One Way Classification Μελετάµε ΜΟΝΟ έναν παράγοντα Παράδειγµα 1 Ο τύπος της ϑεραπείας, ο οποίος λαµβάνεται Παράδειγµα 2 Εµπλέκεται µόνο η λίµνη Completely Random Design Τα k δείγµατα είναι ανεξάρτητα το ένα από το άλλο fixed effects Τα επίπεδα του κάθε παράγοντα που επιλέγονται είναι συγκεκριµένα και καθορισµένα από τον πειραµατιστή Παράδειγµα 1 3 διαφορετικές ϑεραπείες Παράδειγµα 2 4 λίµνες εµπλέκονται

6 Στατιστικές Συναρτήσεις Τα δεδοµένα, συνήθως, δίνονται στην παρακάτω µορφή, Επίπεδα Παράγοντα 1 2 i k x 11 x 21 x i1 x k1 x 12 x 22 x i2 x k2 x 1j x 2j x ij x kj x 1n1 x 2n2 x ini x knk X ij : µία τµ η οποία ορίζει την µέτρηση της j πειραµατικής µονάδας στο i επίπεδο του παράγοντα k N = n i είναι το συνολικό πλήθος των µετρήσεων i=1

7 Στατιστικές Συναρτήσεις Τα δεδοµένα, συνήθως, δίνονται στην παρακάτω µορφή, Επίπεδα Παράγοντα 1 2 i k x 11 x 21 x i1 x k1 x 12 x 22 x i2 x k2 x 1j x 2j x ij x kj x 1n1 x 2n2 x ini x knk n i T i = X ij : το σύνολο των µετρήσεων στο επίπεδο i j=1 X i = 1 n i T i : ο δειγµατικός µέσος στο επίπεδο i

8 Στατιστικές Συναρτήσεις Τα δεδοµένα, συνήθως, δίνονται στην παρακάτω µορφή, T = Επίπεδα Παράγοντα 1 2 i k x 11 x 21 x i1 x k1 x 12 x 22 x i2 x k2 x 1j x 2j x ij x kj x 1n1 x 2n2 x ini x knk k n i X ij = k T i : το σύνολο όλων των µετρήσεων i=1 X = 1 N T : ο ολικός δειγµατικός µέσος

9 Βασικός Ελεγχος H 0 : µ 1 = µ 2 = = µ k = µ µ i = η αναµενόµενη (µέση) τιµή στο i επίπεδο, i = 1, 2,, k (µέση τιµή του i πληθυσµού) µ = η µέση τιµή του πληθυσµού, ο οποίος δηµιουργείται αν κάνουµε τους k, έναν Παρατήρηση ηλαδή, αν µ i µ 0, για κάποιο i, τότε δεν ισχύει η H 0 Παρατήρηση Αν και κάθε µέλος του ίδιου πληθυσµού λαµβάνει την ίδια ϑεραπεία, οι µετρήσεις που παίρνουµε ϑα διαφέρουν λόγω τυχαίων επιδράσεων ηλαδή, µέσα (within) σε κάθε πληθυσµό, υπάρχει κάποια ϕυσική µεταβλητότητα γύρω από τον µέσο του πληθυσµού

10 Μαθηµατικό µοντέλο X ij = µ+(µ i µ)+(x ij µ i ), i = 1, 2,, k, j = 1, 2,, n i µ η συνολική µέση τιµή µ i µ µετράει την απόσταση από την συνολική µέση τιµή, η οποία οφείλεται στο γεγονός ότι η µονάδα έλαβε την i ϑεραπεία X ij µ i τυχαία απόκλιση από τον µέσο του i πληθυσµού, η οποία οφείλεται στις τυχαίες επιδράσεις

11 Υποθέσεις Τα k δείγµατα είναι ανεξάρτητα τυχαία δείγµατα από k πληθυσµούς Κάθε ένας από τους πληθυσµούς ακολουθεί κανονική κατανοµή, Κάθε ένας από τους πληθυσµούς έχει διασπορά σ 2, X i1, X i2,, X ik ανεξάρτητες τµ N(µ i,σ 2 )

12 Ανάλυση ιασποράς n k i k k b (X ij X ) 2 = n i(x i X ) 2 + (X ij X i) 2 i=1

13 Ανάλυση ιασποράς n k i k k b (X ij X ) 2 = n i(x i X ) 2 + (X ij X i) 2 i=1 SS Total : Μετράει την συνολική µεταβλητότητα των δεδοµένων

14 Ανάλυση ιασποράς n k i k k b (X ij X ) 2 = n i(x i X ) 2 + (X ij X i) 2 i=1 SS Treatment : Μετράει την µεταβλητότητα που οφείλεται στις διαφορετικές ϑεραπείες

15 Ανάλυση ιασποράς n k i k k b (X ij X ) 2 = n i(x i X ) 2 + (X ij X i) 2 i=1 SS Error : Μετράει την µεταβλητότητα που οφείλεται στους τυχαίους παράγοντες

16 Ανάλυση ιασποράς n k i k k b (X ij X ) 2 = n i(x i X ) 2 + (X ij X i) 2 i=1 Στατιστικές Συναρτήσεις MS Tr = SS Tr k 1 MS E = SS E N k E(MS Tr ) = σ 2 + E(MS E ) = σ 2 k n i (µ i µ) 2 i=1 k 1

17 Πίνακας ANOVA Πηγή της ϐαθµοί Μεταβλητότητας ελευθερίας SS MS F Επίπεδο k 1 k Ti 2 T 2 SS Tr MS Tr n i N k 1 MS E i=1 SS E Υπόλοιπο N k SS Total SS Tr N k k n i Συνολικά N 1 X 2 ij T 2 N

18 Παρατηρήσεις Γιατί να χρησιµοποιήσουµε ANOVA και όχι διαδοχικά t-test; 1 Χρονοβόρο, πχ 5 επίπεδα 10 t-test 2 Υπάρχει πιθανότητα σε κάθε t-test 5% να µην είναι σωστό, οπότε αν κάνουµε 3 t-test, αυτή η πιθανότητα γίνεται ( ) 100% = 1426% Αν απορρίψουµε την H 0, σηµαίνει ότι υπάρχει διαφορά µεταξύ των µέσων των k πληθυσµών Που υπάρχουν αυτές οι διαφορές; PostHoc - tests

19 Παρατηρήσεις PostHoc - tests 1 Duncan s multiple range test 2 Least Squared Distributed (LSD) 3 Bonferroni 4 Sceffé Ελεγχος Οµοσκεδαστικότητας H 0 : σ 2 1 = σ 2 2 = = σ 2 k = σ 2

20 Πίνακας Περιεχοµένων 1 completely random design with fixed effects 2 3

21 Προηγουµένως τα επίπεδα των παραγόντων (οι ϑεραπείες) ήταν καθορισµένες από τον πειραµατιστή Η λογική του πειράµατος ήταν ότι επιθυµούσαµε να συγκρίνουµε τους µέσους k συγκεκριµένων πληθυσµών Αν ϑέλουµε να κάνουµε σύγκριση περισσοτέρων πληθυσµών, τότε οι k πληθυσµοί µπορεί να ϑεωρηθούν σαν ένα δείγµα από αυτούς και λέµε ότι έχουµε τυχαίους παράγοντες (και όχι δοσµένους k) Αυτό που µας ενδιαφέρει, πλέον, είναι να δούµε αν υπάρχει κάποιου είδους µεταβλητότητα (variability) ανάµεσα σε όλους τους πληθυσµούς

22 Επεξήγηση One Way Classification Μελετάµε ΜΟΝΟ έναν παράγοντα Παράδειγµα 3 Κατασκευαστές ενός συγκεκριµένου µέσου Completely Random Design Τα k (k = 3) δείγµατα είναι ανεξάρτητα το ένα από το άλλο with random effects Τα επίπεδα του κάθε παράγοντα που επιλέγονται ΕΝ είναι συγκεκριµένα και καθορισµένα από τον πειραµατιστή Παράδειγµα 3 συγκρίνουµε την ποιότητα των µέσων ΟΛΩΝ των κατασκευαστών

23 Μαθηµατικό µοντέλο X ij = µ+t i + E ij, i = 1, 2,, k, j = 1, 2,, n i µ η συνολική µέση τιµή T i = µ i µ µετράει την απόσταση από την συνολική µέση τιµή, η οποία οφείλεται στο γεγονός ότι η µονάδα έλαβε την i ϑεραπεία E ij = X ij µ i τυχαία απόκλιση από τον µέσο του i πληθυσµού, η οποία οφείλεται στις τυχαίες επιδράσεις

24 Υποθέσεις Τα k δείγµατα είναι ανεξάρτητα τυχαία δείγµατα από k πληθυσµούς, οι οποίοι επιλέχθηκαν τυχαία από ένα µεγαλύτερο σύνολο πληθυσµών Κάθε ένας από τους πληθυσµούς του µεγαλύτερου συνόλου ακολουθεί κανονική κατανοµή, οπότε κάθε ένας από τους k δειγµατικούς πληθυσµούς ακολουθεί κανονική κατανοµή Κάθε ένας από τους πληθυσµούς του µεγαλύτερου συνόλου έχει διασπορά σ 2, οπότε κάθε ένας από τους k δειγµατικούς πληθυσµούς έχει διασπορά σ 2 T 1, T 2,, T k ανεξάρτητες τµ N(0,σ 2 Tr ) ιαφορά µε fixed effects Εδώ, οι T i = µ i µ ϑεωρούνται τυχαίες µεταβλητές, ενώ στα fixed effect models ϑεωρούνται άγνωστες σταθερές

25 Λογική Ελέγχου Αν στους πληθυσµούς του µεγαλύτερου συνόλου, οι µέσοι είναι ακριβώς οι ίδιοι, σηµαίνει ότι για τους k δειγµατικούς πληθυσµούς, οι τµ T i = µ i µ δεν ϑα διαφέρουν (δεν ϑα µεταβάλλονται) H 0 : σ 2 Tr = 0, H 1 : σ 2 Tr 0 Η ανάλυση είναι ακριβώς η ίδια µε το προηγούµενο µοντέλο (CRD with fixed effects) µε την µόνη διαφορά ότι, E(MS Tr ) = σ 2 + n 0 σ 2 Tr, n 0 = N k i=1 k 1 n 2 i N

26 Πίνακας ANOVA Πηγή της ϐαθµοί Μεταβλητότητας ελευθερίας SS MS F Επίπεδο k 1 k Ti 2 T 2 SS Tr MS Tr n i N k 1 MS E i=1 SS E Υπόλοιπο N k SS Total SS Tr N k k n i Συνολικά N 1 X 2 ij T 2 N Παρατήρηση εν χρειάζεται περαιτέρω ανάλυση, ακόµα και αν η H 0 απορρίπτεται

27 Πίνακας Περιεχοµένων 1 completely random design with fixed effects 2 3

28 block Τα πειραµατικά δεδοµένα συγκρίνονται σε σχέση µε κάποια µεταβλητή randomized Οι ϑεραπείες γίνονται τυχαία σε κάθε block complete Κάθε ϑεραπεία χρησιµοποιείται ακριβώς µια ϕορά µέσα σε κάθε block with fixed effects Οι ϑεραπείες και τα block που επιλέγονται είναι συγκεκριµένα και καθορισµένα από τον πειραµατιστή

29 Χρήσιµοι Ελεγχοι H 0 : µ 1 = µ 2 = = µ k (µ i είναι ο µέσος της i ϑεραπείας) H 0 : µ 1 = µ 2 = = µ b (µ j είναι ο µέσος του j block) Παρατήρηση Αναµένουµε την H 0 να απορριφθεί!

30 Στατιστικές Συναρτήσεις Τα δεδοµένα, συνήθως, δίνονται στην παρακάτω µορφή, Θεραπεία 1 2 i k 1 x 11 x 21 x i1 x k1 2 x 12 x 22 x i2 x k2 j x 1j x 2j x ij x kj b x 1b x 2b x ib x kb X ij : µία τµ η οποία ορίζει την µέτρηση της i ϑεραπείας στο j block N = kb είναι το συνολικό πλήθος των µετρήσεων

31 Στατιστικές Συναρτήσεις Τα δεδοµένα, συνήθως, δίνονται στην παρακάτω µορφή, T i = Θεραπεία 1 2 i k 1 x 11 x 21 x i1 x k1 2 x 12 x 22 x i2 x k2 j x 1j x 2j x ij x kj b x 1b x 2b x ib x kb b X ij το σύνολο των µετρήσεων της i ϑεραπείας j=1 X i = 1 b T i ο δειγµατικός µέσος της i ϑεραπείας

32 Στατιστικές Συναρτήσεις Τα δεδοµένα, συνήθως, δίνονται στην παρακάτω µορφή, T j = Θεραπεία 1 2 i k 1 x 11 x 21 x i1 x k1 2 x 12 x 22 x i2 x k2 j x 1j x 2j x ij x kj b x 1b x 2b x ib x kb k X ij το σύνολο των µετρήσεων στο j block i=1 X j = 1 k T j ο δειγµατικός µέσος στο j block

33 Στατιστικές Συναρτήσεις Τα δεδοµένα, συνήθως, δίνονται στην παρακάτω µορφή, T = k Θεραπεία 1 2 i k 1 x 11 x 21 x i1 x k1 2 x 12 x 22 x i2 x k2 j x 1j x 2j x ij x kj b x 1b x 2b x ib x kb b X ij το σύνολο όλων των µετρήσεων X = 1 N T ο δειγµατικός µέσος όλων των µετρήσεων

34 Μαθηµατικό Μοντέλο X ij = µ+τ i +β j + E ij, i = 1, 2,, k, j = 1, 2,, b µ ο ολικός µέσος του πληθυσµού τ i = µ i µ απόσταση από την συνολική µέση τιµή, η οποία οφείλεται στο γεγονός ότι η µονάδα έλαβε την i ϑεραπεία µ i ο µέσος της i ϑεραπείας β j = µ j µ απόσταση από την συνολική µέση τιµή, η οποία οφείλεται στο j block µ j ο µέσος του j block E ij = X ij µ ij τυχαία απόκλιση από τον µέσο του i πληθυσµού, η οποία οφείλεται στις τυχαίες επιδράσεις µ ij ο µέσος της i ϑεραπείας και του j block

35 Υποθέσεις X ij N(µ ij,σ 2 ), i = 1, 2,, k j = 1, 2,, b εν υπάρχει καµµιά αλληλεπίδραση µεταξύ ϑεραπειών και block (Οι διαφορές στους µέσους για δύο ϑεραπείες είναι η ίδια σε κάθε block και οι διαφορές στους µέσους για κάθε δύο block είναι η ίδια για κάθε ϑεραπεία) Παράδειγµα µ 11 = 4 µ 21 = 5 µ 31 = 7 2 µ 12 = 3 µ 22 = 4 µ 32 = 6

36 Ανάλυση ιασποράς k b k b k b (X ij X ) 2 = b (X i X ) 2 +k (X j X ) 2 + (X ij X i X j+x ) 2 i=1 j=1

37 Ανάλυση ιασποράς k b k b k b (X ij X ) 2 = b (X i X ) 2 +k (X j X ) 2 + (X ij X i X j+x ) 2 i=1 j=1 SS Total : Μετράει την συνολική µεταβλητότητα των δεδοµένων

38 Ανάλυση ιασποράς k b k b k b (X ij X ) 2 = b (X i X ) 2 +k (X j X ) 2 + (X ij X i X j+x ) 2 i=1 j=1 SS Treatment : Μετράει την µεταβλητότητα που οφείλεται στις διαφορετικές ϑεραπείες

39 Ανάλυση ιασποράς k b k b k b (X ij X ) 2 = b (X i X ) 2 +k (X j X ) 2 + (X ij X i X j+x ) 2 i=1 j=1 SS Blocks : Μετράει την µεταβλητότητα που οφείλεται στα διαφορετικά block

40 Ανάλυση ιασποράς k b k b k b (X ij X ) 2 = b (X i X ) 2 +k (X j X ) 2 + (X ij X i X j + X ) 2 i=1 j=1 SS Error : Μετράει την µεταβλητότητα που οφείλεται σε τυχαίους παράγοντες

41 Ανάλυση ιασποράς k b k b k b (X ij X ) 2 = b (X i X ) 2 +k (X j X ) 2 + (X ij X i X j+x ) 2 i=1 j=1 Στατιστικές Συναρτήσεις MS Tr = SS Tr k 1 MS Bl = SS Bl b 1 MS E = SS E (k 1)(b 1) E(MS Tr ) = σ 2 + b k 1 E(MS Bl ) = σ 2 + k b 1 E(MS E ) = σ 2 k (µ i µ) 2 i=1 b (µ j µ) 2 j=1

42 Ελεγχοι Υποθέσεων H 0 : µ 1 = µ 2 = = µ k vs H 1 : µ i µ j για κάποιο(i, j) Απορρίπτω την H 0, εάν: MS Tr MS E > F k 1,(k 1)(b 1),a H 0 : µ 1 = µ 2 = = µ b vs H 1 : µ i µ j για κάποιο(i, j) Απορρίπτω την H 0, εάν: MS Tr MS E > F b 1,(k 1)(b 1),a

43 Πίνακας ANOVA Πηγή της ϐαθµοί Μεταβλητότητας ελευθερίας SS MS F Επίπεδο k 1 k Ti 2 b T2 SS Tr MS Tr N k 1 MS i=1 E block b 1 b Tj 2 k T2 SS Bl MS Bl N b 1 MS j=1 E SS E Υπόλοιπο (k 1)(b 1) SS Total SS Tr SS Bl (k 1)(b 1) k b Συνολικά kb 1 Xij 2 T2 N

44 Παρατηρήσεις: Υπάρχει περίπτωση να υπάρχει αλληλεπίδραση µεταξύ ϑεραπειών και block, δηλ να υπάρχει έλλειψη συνέπειας στην συµπεριφορά των ϑεραπειών κατά µήκος των block ή και αντίστροφα, κάτι που πρέπει να ελεγχθεί ( Ελεγχος Σφαιρικότητας)

45 Παρατηρήσεις: Υπάρχει περίπτωση να υπάρχει αλληλεπίδραση µεταξύ ϑεραπειών και block, δηλ να υπάρχει έλλειψη συνέπειας στην συµπεριφορά των ϑεραπειών κατά µήκος των block ή και αντίστροφα, κάτι που πρέπει να ελεγχθεί ( Ελεγχος Σφαιρικότητας) Αν απορριφτεί η H 0, τότε κάνουµε τον έλεγχο του Duncan SSR p = r p MSE b

46 Παρατηρήσεις: Υπάρχει περίπτωση να υπάρχει αλληλεπίδραση µεταξύ ϑεραπειών και block, δηλ να υπάρχει έλλειψη συνέπειας στην συµπεριφορά των ϑεραπειών κατά µήκος των block ή και αντίστροφα, κάτι που πρέπει να ελεγχθεί ( Ελεγχος Σφαιρικότητας) Αν απορριφτεί η H 0, τότε κάνουµε τον έλεγχο του Duncan SSR p = r p MSE b Υπάρχει περίπτωση οι ϑεραπείες να είναι συγκεκριµένες, αλλά τα block να εκλέγονται τυχαία από ένα µεγαλύτερο σύνολο block, σε αυτήν την περίπτωση έχουµε την ίδια ανάλυση για την H 0, αλλά H 0 : σ2 Bl = 0 (καµµιά µεταβλητότητα στην επίδραση των block) Αυτό το µοντέλο ονοµάζεται µικτό

47 Παρατηρήσεις: Ενα άλλο µικτό µοντέλο είναι τα block να είναι δοσµένα, αλλά οι ϑεραπείες τυχαίες

48 Παρατηρήσεις: Ενα άλλο µικτό µοντέλο είναι τα block να είναι δοσµένα, αλλά οι ϑεραπείες τυχαίες Και οι ϑεραπείες και τα block να είναι τυχαία επιλεγµένα (Τυχαίο µοντέλο)