Data science,Στατιστική/Πληροφορική

Καλησπέρα!.Είμαι νέο μέλος και αν και μηχανικός πρόσφατα ξεκίνησα μεταπτυχιακό στην Στατιστική(ΕΜΠ).
Είδα μια ερώτηση ενός άλλου μέλους σχετικά με το κατά πόσο το computer science έχει ''κλέψει'' την δόξα του data science και ομολογώ πως απόσα εχω διαβάσει έχω μπερδευτεί πολύ.
Προφανώς και στο επίπεδο που είμαι δεν έχω τις γνώσεις για να ξέρω την αλληλεπίδραση μεταξύ των αντικειμένων,απλά καθαρά από συζητήσεις και άρθρα που διαβάζω,τα συμπεράσματα είναι διαφορετικά.
Οι του computer science λένε ότι με προσωπικό διάβασμα στατιστικής δεν θα έχεις πρόβλημα και το αντικείμενο μέσω του machine learning γέρνει προς την επιστήμη τους.
Οι στατιστικοί(και οι καθηγητές μου επίσης) όταν θίγεται το θέμα λένε ότι προφανώς ο στατιστικός τα κάνει καλύτερα και είναι το αντικείμενο του και πως απλά είναι της μοδας να διαχωρίζεται τόσο έντονα ο όρος "data scientist"
Επίσης υπάρχουν και τα άτομα με master στο data science που σου λένε πάντα ότι πρέπει το master να είναι καλό αλλιώς είναι προτιμότερη άλλη οδός(στατιστική,computer science).
Τέλος ένας φίλος μου πρόσφατα μου πρότεινε να διαβάσω ένα παλιό paper που αναφέρεται σε σχετική συζήτηση  "Statistical Modeling: The Two Cultures Leo Breiman".
Όλα αυτά τα αναφέρω γιατί έχω μπερδευτεί σαν φρέσκος στο αντικείμενο και μερικά πράγματα από αυτά με προβληματίζουνε.
Υπάρχει βάσιμος λόγος ανησυχίας στον στατιστικό κλάδο για την εξέλιξη του κλάδου στην εποχή των δεδομένων?
Εγώ προσωπικά ίσα ίσα το αντίθετο πίστευα αλλά είμαι πάντα ανοιχτός στο να μαθαίνω.

Δεν καταλαβαίνω ακριβώς ποιο ακριβώς είναι το ερώτημα σου.

Θα σου πω τη δικιά μου γνώμη και κράτα ότι νομίζεις ότι είναι χρήσιμο.

Γενικά για να είσαι καλός Machine Learner ή Data Scientist ΠΡΕΠΕΙ να ξέρεις πολύ καλή στατιστική.
Για να είσαι καλός στατιστικός πρέπει να ξέρεις καλούς υπολογιστές (R, βάσεις δεδομένων) και machine learning.

Αν είσαι καλός είτε έρχεσαι από της μεριά της Στατιστικής είτε από την μεριά της Πληροφορικής τότε δε θα έχεις πρόβλημα επαγγελματικά.  

Το θέμα με το data science έτσι όπως τείνει να επικρατήσει είναι ότι θεωρείται επέκταση της πληροφορικής (και λόγω του ότι οι επιστήμονες πληροφορικής είναι πολύ περισσότεροι από τους Στατιστικούς). Η λογική είναι ότι η στατιστική είναι ευκολάκι και τη μαθαίνουμε χωρίς σωστή εκπαίδευση είναι που τελικά φτιάχνει κακούς data scientists. Επίσης η λογική ότι όλα είναι prediction και απλά τρέχω black box αλγορίθμους χωρίς κατανόηση της μεθόδου ή του μοντέλου (όλα είναι απλά αλγόριθμοι) οδηγεί σε εσφαλμένη εφαρμογή καλών μεθόδων και προφανώς σε αποτυχία καλής πρόβλεψης και ανάλυσης ενός φαινομένου. Όσο για κατανόηση και ερμηνεία ενός φαινόμενου με δεδομένα δε μιλάμε καθόλου από την πλευρά του machine learning.

Όσον αφορά για το κλέψιμο της Στατιστικής από τη πληροφορική κυρίως αναφερόμαστε στο γεγονός ότι το μεγάλο κομμάτι ενός μαθήματος machine learning αναλώνεται σε κλασικότατες τεχνικές στατιστικής όπως regression, logistic regression, clustering, classification (πολλές φορές με άλλες πιο ελκυστικές ονομασίες).  

Τέλος οι επιστήμονες δεδομένων (με background Πληροφορικής) αδυνατούν να καταλάβουν ότι η στατιστική στις περισσότερες περιπτώσεις δε χρειάζεται ΜΕΓΑΛΑ ΔΕΔΟΜΕΝΑ αλλά σωστά δεδομένα. Έτσι καταλήγουν να μαζεύουν ότι μεροληπτικό δείγμα είναι διαθέσιμο και να γενικεύουν.

Αυτό δε σημαίνει ότι οι ΚΑΛΟΙ machine learners δεν κάνουν πραγματικά τρομερά πράγματα σε πολλές περιπτώσεις που οι στατιστικοί δεν μπορούν να τα κάνουν (φυσικά ισχύει και το ανάποδο). Αλλά αυτοί είναι λίγοι και δουλεύουν για μεγάλες εταιρείες ή πανεπιστήμια.

Αυτά τα λίγα.

Καλησπέρα! Δεν έχω μεγάλη εμπειρία στο αντικείμενο αλλά θα ήθελα να γράψω την άποψή μου. Καταρχήν συμφωνώ με όσα είπε ο grstats. Αυτό που ήθελα να προσθέσω είναι ότι κατά την προσωπική μου άποψη το μπέρδεμα ξεκινάει από το γεγονός ότι υπάρχει σύγχυση στις έννοιες. Άλλο πράγμα ένας 'στατιστικός' ('statistician') και άλλο πράγμα ένας 'data scientist'. Παρ' όλα αυτά, σπάνια θα δεις κάποιον να δηλώνει ότι δουλεύει ως 'statistician' ή κάποια εταιρεία να ζητάει σε θέση αγγελίας 'statistician'. Όλοι θα αναφέρουν την θέση ως 'data scientist' (ή 'data analyst') ακόμα και αν το αντικείμενο στην ουσία είναι να κάνεις μια απλή στατιστική ανάλυση. Όταν λοιπόν ο τίτλος του 'data scientst' περιλαμβάνει ένα σωρό πράγματα είναι επόμενο να υπάρχει σύγχυση σχετικά με το σε ποιον κλάδο ανήκει, αν και προσωπικά πιστεύω ότι το 'data science' είναι μια μίξη πληροφορικής και στατιστικής, οπότε δεν μπορείς να πεις ότι ανήκει 100% σε κάποιον από τους δυο κλάδους.