Παρουσίαση της Μεταπτυχιακής Εργασίας της μεταπτυχιακής φοιτήτριας του Τμήματος Επιστήμης Υπολογιστών κα. Μποφίλη- Αρβανίτη Ιωάννα- Μαρία με θέμα: “Διερεύνηση τεχνικών ανάλυσης δεδομένων σε πραγματικό χρόνο με χρήση κατανεμημένων συστημάτων επεξεργασίας ροών”.
24 Φεβρουαρίου 2021, 10:00-12:00
- Περίληψη: Η κλιμακώσιμη επεξεργασία ροών δεδομένων είναι πολύ σημαντική τεχνολογία στους τομείς των υπηρεσιών του Διαδικτύου των Πραγμάτων (IoT), της κοινωνικής δικτύωσης, και άλλων τομέων των ηλεκτρονικών υπηρεσιών, έχοντας πρόσφατα οδηγήσει την ανάπτυξη μιας νέας γενιάς τέτοιων συστημάτων. Σε αυτή την εργασία εφαρμόζουμε μοντέρνες τεχνολογίες επεξεργασίας ροών προκειμένου να βελτιώσουμε την τεχνολογική στάθμιση σε δύο εφαρμογές που βασίζονται στον εντοπισμό στο φυσικό χώρο σε πραγματικό χρόνο: την δημιουργία του προφίλ κίνησης των επισκεπτών σε εκθεσιακούς χώρους και την πρόβλεψη παραβίασης συμφωνιών επιπέδου υπηρεσίας στον τομέα των μέσων μαζικής μεταφοράς. Προκειμένου να εξασφαλίσουμε πως τα κλιμακώσιμα συστήματα επεξεργασίας ροών μπορούν να προσαρμοστούν σε αλλαγές του φόρτου με αυτόματη προσαρμογή των πόρων τους, σε αυτή την εργασία υλοποιούμε ένα μηχανισμό με τον οποίο τα συστήματα επεξεργασίας ροών μπορούν να κλιμακωθούν δυναμικά ακόμα κι όταν αυτή η δυνατότητα δεν υποστηρίζεται από τα ίδια τα συστήματα και την υποκείμενη πλατφόρμα διαχείρισης πόρων.
Η πρώτη εφαρμογή των τεχνολογιών επεξεργασίας ροών δεδομένων σε συστήματα ανάλυσης δεδομένων σε πραγματικό χρόνο είναι στην ανάπτυξη δυναμικών προφίλ της συμπεριφοράς των επισκεπτών εκθεσιακών χώρων με βάση την κίνηση τους στο φυσικό χώρο. Η παρούσα εργασία εφαρμόζει τεχνολογίες ροών δεδομένων για την υποστήριξη θεωριών συμπεριφοράς από τις κοινωνικές επιστήμες και για την συλλογή πληροφορίας για πιθανά ενδιαφέροντα των χρηστών. Τέτοια προφίλ μπορούν να χρησιμοποιηθούν για την παραγωγή προτάσεων για τους επισκέπτες σχετικά με το ποια εκθέματα να επισκεφτούν, ποιο είναι το περιεχόμενο που θα ενδιέφερε περισσότερο το χρήστη ή για τη σχεδίαση προσωποποιημένων ερωτηματολογίων. Η δεύτερη εφαρμογή των τεχνολογιών επεξεργασίας ροών σε συστήματα ανάλυσης δεδομένων σε πραγματικό χρόνο είναι στην εκπαίδευση κατάλληλων μοντέλων για την πρόβλεψη οχημάτων που είναι πιθανό να παραβιάσουν τους στόχους που ορίζει η συμφωνία επιπέδου υπηρεσίας τους κατά τη διάρκεια δρομολογίου τους. Σε αυτή την εργασία επεκτείνουμε υπάρχουσες τεχνικές πρόβλεψης καθυστέρησης με τη δυνατότητα να εφαρμοστούν προβλέψεις σε πραγματικό χρόνο.
Σε αυτή την εργασία εξετάζουμε τις κατάλληλες ρυθμίσεις συστήματος για την επίτευξη κλιμακώσιμης και προσαρμόσιμης ανάλυσης δεδομένων ελέγχοντας την επίδραση διαφόρων παραμέτρων στο συνολικό σύστημα επεξεργασίας ροών δεδομένων. Ακόμα και σε περιπτώσεις που η δυναμική κλιμακωσιμότητα δεν υποστηρίζεται από την πλατφόρμα επεξεργασίας ροών, παρουσιάζουμε μια τεχνική που μπορεί να επιτύχει οριζόντια κλιμακωσιμότητα με μικρό χρόνο μη διαθεσιμότητας κατά την προσαρμογή.
