Κωδικοποίηση βίντεο (H.261 / DVI)

Transcript

1 Κωδικοποίηση βίντεο (H.261 / DVI) Αρχές κωδικοποίησης βίντεο Εισαγωγή στο H.261 Κωδικοποίηση βίντεο Ροή δεδοµένων Εισαγωγή στο DVI Κωδικοποίηση ήχου και εικόνων Κωδικοποίηση βίντεο Ροή δεδοµένων Τεχνολογία Πολυµέσων 10-1

2 Αρχές κωδικοποίησης βίντεο Χωρικοί πλεονασµοί Οµοιότητα γειτονικών εικονοστοιχείων Εξέταση µεµονωµένων πλαισίων Ενδοπλαισιακή (intraframe) κωδικοποίηση Χρονικοί πλεονασµοί Οµοιότητα διαδοχικών πλαισίων Ανακατασκευή πλαισίου από γειτονικά ιαπλαισιακή (interframe) κωδικοποίηση Συµπίεση χωρικών πλεονασµών µόνο Μικρή καθυστέρηση αλλά και µικρή συµπίεση Συµπίεση χωρικών και χρονικών πλεονασµών Αναζήτηση οµοιοτήτων ανάµεσα σε πλαίσια Τα σφάλµατα επηρεάζουν πολλαπλά πλαίσια Τεχνολογία Πολυµέσων 10-2

3 Εισαγωγή στο H.261 Μετάδοση εικόνας µέσω ISDN Πολλαπλά κανάλια B (64 Kbps) για βίντεο και ήχο Κοινός κωδικοαποκωδικοποιητής (codec) Βασική πρόσβαση ISDN (BRI): 2 κανάλια B Πρότυπα n x 64 Kbps, όπου n=1,2,,5 Πρωτεύουσα πρόσβαση ISDN (PRI): 30 κανάλια B Πρότυπα m x 384 Kbps, όπου m=1,2,,5 Ενοποιηµένη υποστήριξη BRI και PRI Πρότυπα p x 64 Kbps, όπου p=1,2,,30 Κωδικοποίηση / αποκωδικοποίηση σε πραγµατικό χρόνο Μέγιστη καθυστέρηση κάτω από 150 ms Σταθερός ρυθµό µετάδοσης µε µεταβαλλόµενη ποιότητα Τεχνολογία Πολυµέσων 10-3

4 Κωδικοποίηση βίντεο Μορφότυπα εικόνας Ρυθµός πλαισίου στην είσοδο: 29,97 fps Χρήση προοδευτικής σάρωσης Ρυθµός πλαισίου στην έξοδο: αναλόγως καναλιού Φωτεινότητα (Y) και χρωµικότητα (Cb και Cr) Λόγος διαστάσεων 4:3, λόγος δειγµατοληψίας 4:1:1 8 bits ανά εικονοστοιχείο ανά συνιστώσα Μορφότυπο (CIF): προαιρετικό Φωτεινότητα: 352 x 288 Χρωµικότητα: 176 x 144 Μορφότυπο QCIF (quarter CIF): υποχρεωτικό Φωτεινότητα: 176 x 144 Χρωµικότητα: 88 x 72 Τεχνολογία Πολυµέσων 10-4

5 Κωδικοποίηση βίντεο Y Cb Cr Μακρομπλόκ 4 Χ (8 Χ 8) περιοχές φωτεινότητας Y 1 Χ (8 Χ 8) περιοχές χρωμικότητας Cb 1 Χ (8 Χ 8) περιοχές χρωμικότητας Cr Ιεραρχική οργάνωση πλαισίων Μπλοκ (block): 8x8 εικονοστοιχεία µίας συνιστώσας Μακροµπλόκ (MB): 4 µπλοκ Y, από 1 µπλοκ Cb και Cr Οµάδα µπλοκ (GOB): 3x11=33 µακροµπλόκ QCIF: τρεις οµάδες µπλοκ CIF: δώδεκα οµάδες µπλοκ Τεχνολογία Πολυµέσων 10-5

6 Κωδικοποίηση βίντεο 1η ομάδα από μπλοκ 2η ομάδα από μπλοκ 3η ομάδα από μπλοκ : Μακρομπλόκ Ρυθµός δεδοµένων χωρίς συµπίεση QCIF µε 29,97 fps: 9,11 Mbps CIF µε 29,97 fps: 36,45 Mbps Ρυθµός δεδοµένων µε λόγο συµπίεσης 1:47,5 QCIF µε 10 fps: ένα κανάλι B (64 Kbps) CIF µε 15 fps: έξι κανάλια B (384 Kbps) Τεχνολογία Πολυµέσων 10-6

7 Κωδικοποίηση βίντεο ενδοπλαισιακά κωδικοποιημένο πλαίσιο και πλαίσιο αναφοράς του F2 πλαίσιο κατασκευασμένο μερικώς με αναφορά στο πλαίσιο F1 F1 πανομοιότυπες περιοχές Ενδοπλαισιακή κωδικοποίηση Αρχή επικοινωνίας και αλλαγή σκηνής ιαπλαισιακή κωδικοποίηση Αξιοποιεί το προηγούµενο πλαίσιο Μεγαλύτερη συµπίεση Επιλογή κωδικοποίησης από την εφαρµογή F2 Τεχνολογία Πολυµέσων 10-7

8 Κωδικοποίηση βίντεο μακρομπλόκ F1 διάνυσμα κίνησης F2 θέση του μακρομπλόκ στο F2 Ενδοπλαισιακή κωδικοποίηση Μπλοκ 8x8 εικονοστοιχείων Μετασχηµατισµός DCT Χωριστή κβαντοποίηση DC / AC Κωδικοποίηση εντροπίας Όπως στο JPEG αλλά µε έναν συντελεστής κβαντοποίησης Τεχνολογία Πολυµέσων 10-8 F3 θέση του μακρομπλόκ στο F1

9 Κωδικοποίηση βίντεο ιαπλαισιακή κωδικοποίηση Πρόβλεψη περιεχοµένου µακροµπλοκ Σύγκριση µε µακροµπλόκ προηγούµενου πλαισίου Επανόρθωση κίνησης (motion compensation) Μετατόπιση µακροµπλόκ προηγούµενου πλαισίου ιάνυσµα κίνησης (motion vector) Τιµές µετατόπισης του µακροµπλόκ σε εικονοστοιχεία Κωδικοποίηση διανυσµάτων κίνησης Μη απωλεστική κωδικοποίηση εντροπίας Κωδικοποίηση διαφορών µακροµπλόκ ιαφορική κωδικοποίηση (DPCM) Συνέχεια όπως στην ενδοπλαισιακή κωδικοποίηση Τεχνολογία Πολυµέσων 10-9

10 Ροή δεδοµένων Επίτευξη σταθερού ρυθµού µετάδοσης Προσαρµογή βήµατος κβαντοποίησης Γεµάτος ενταµιευτής -> αύξηση βήµατος κβαντοποίησης Άδειος ενταµιευτής ->µείωση βήµατος κβαντοποίησης Σταθερός ρυθµός µετάδοσης µε µεταβαλλόµενη ποιότητα Ροή δεδοµένων H.261 Περιέχει πληροφορίες διόρθωσης λαθών Αριθµός εικόνας (5 bits) για χρονισµό Εντολές έναρξης και παύσης αναπαραγωγής βίντεο Πλαίσιο: κεφαλίδα και 12 ή 3 GOB (CIF η QCIF) GOB: κεφαλίδα και 33 MB MB: κεφαλίδα και στοιχεία µπλοκ ιανύσµατα κίνησης και συντελεστές DCT Τεχνολογία Πολυµέσων 10-10

11 Εισαγωγή στο DVI Γενική τεχνολογία διανοµής πολυµέσων Πρότυπο της Intel µε στόχο διανοµή σε CD-ROM εδοµένα, κείµενο, γραφικά, εικόνες, βίντεο και ήχος Μορφότυπο αποθήκευσης σε CD-ROM Κωδικοποίηση µε κυκλώµατα VLSI ή λογισµικό Μπορεί να γίνεται σε µη πραγµατικό χρόνο Αποκωδικοποίηση µε λογισµικό σε πραγµατικό χρόνο ιεπαφή προγραµµατισµού εφαρµογών Αλγόριθµοι κωδικοποίησης και αποκωδικοποίησης Κωδικοποίηση ήχου Αρχική ψηφιοποίηση µε 16 bits ανά δείγµα PCM: Hz, Hz και Hz, ένα ή δύο κανάλια ADPCM (4 bits): 8268 Hz, Hz και Hz, ένα κανάλι Τεχνολογία Πολυµέσων 10-11

12 Κωδικοποίηση ήχου και εικόνων Πολλαπλά µορφότυπα εισόδου Μετατροπή RGB σε YUV µε ακέραιη αριθµητική Εσωτερικά χρησιµοποιείται το YUV Βασικό µορφότυπο YUV Λόγος δειγµατοληψίας (16:1:1) Οµάδες 4x4=16 εικονοστοιχείων Φωτεινότητα: 8 bits ανά εικονοστοιχείο Χρωµικότητα: 8 bits ανά 16 εικονοστοιχεία (U και V) Χρωµικότητα άνω αριστερού εικονοστοιχείου Σύνολο: 9 bits ανά εικονοστοιχείο Βελτίωση εικόνας κατά την παρουσίαση Παρεµβολή χρωµικότητας ανάµεσα σε οµάδες Παραµόρφωση χρώµατος δεξιά και κάτω Τεχνολογία Πολυµέσων 10-12

13 Κωδικοποίηση ήχου και εικόνων Εναλλακτικά µορφότυπα YUV Αυξηµένη ποιότητα σε σχέση µε το βασικό 24 bits (8 bits ανά συνιστώσα) 16 bits (6 bits φωτεινότητας, 5+5 bits χρωµικότητας) Επίπεδη αποθήκευση Χωριστή αποθήκευση κάθε συνιστώσας Μορφότυπα YUV των 9 και 24 bits Πακεταρισµένη αποθήκευση Όλες οι συνιστώσες ενός εικονοστοιχείου µαζί Μορφότυπο YUV των 16 bits. Συµπίεση 24 bits: δεν συµπιέζονται 16 bits: απωλεστικός αλγόριθµος 9 bits: απωλεστικός αλγόριθµος ή JPEG Τεχνολογία Πολυµέσων 10-13

14 Κωδικοποίηση βίντεο Βίντεο επιπέδου παρουσίασης (PLV) Υψηλή ποιότητα εικόνας (512 x 480) Aσυµµετρικός αλγόριθµος συµπίεσης Εξειδικευµένο υλικό για συµπίεση όχι σε πραγµατικό χρόνο Προετοιµασία βίντεο για διανοµή σε CD-ROM Βίντεο πραγµατικού χρόνου (RTV) Μέση ποιότητα εικόνας (256 x 240) Συµµετρικός αλγόριθµος συµπίεσης Συµπίεση σε πραγµατικό χρόνο µε υλικό ή λογισµικό Προετοιµασία και διόρθωση βίντεο Σύστηµα RTV: Προετοιµασία εικόνας 8 bits για κάθε εικονοστοιχείο Αναλογία δειγµατοληψίας (16:1:1) Τεχνολογία Πολυµέσων 10-14

15 Κωδικοποίηση βίντεο Ενδοπλαισιακή κωδικοποίηση ιαφορά µε εικονοστοιχείο στην προηγούµενη γραµµή Φανταστική µηδενική γραµµή µε σταθερή τιµή Χωριστά για κάθε συνιστώσα ιαπλαισιακή κωδικοποίηση ιαφορά µε αντίστοιχο εικονοστοιχείο στο προηγούµενο πλαίσιο Υλοποίηση µε απλές αφαιρέσεις ακεραίων εν απαιτείται κβαντοποίηση Συµπίεση µηδενικών στοιχείων µε RLE Συµπίεση µη µηδενικών στοιχείων Οµαδοποίηση τιµών σε ζεύγη Κβαντοποίηση διανυσµάτων δύο διαστάσεων Κωδικοποίηση Huffman Τεχνολογία Πολυµέσων 10-15

16 Ροή δεδοµένων Σύστηµα PLV: εξειδικευµένο υλικό Επανόρθωση κίνησης σε ορθογώνιες περιοχές Πραγµατικές τιµές στο διάνυσµα κίνησης Παρεµβολή για αποτελέσµατα υψηλής ποιότητας Επανόρθωση κίνησης και µε βάση επόµενο πλαίσιο Επεξεργασία πολλαπλών πλαισίων Μορφότυπο ροής δεδοµένων Έκδοση του συστήµατος Χρήση διαπλαισιακής ή ενδοπλαισιακής κωδικοποίησης Ύψος και πλάτος της κωδικοποιηµένης εικόνας Επιλογή πίνακα διανυσµατικής κβαντοποίησης Πίνακες Huffman που χρησιµοποιούνται Χρήση ή µη της µισής ανάλυσης Τεχνολογία Πολυµέσων 10-16