Η γραμμική παλινδρόμηση είναι ένας τρόπος εξήγησης της σχέσης μεταξύ μιας εξαρτημένης μεταβλητής και μιας ή περισσότερων επεξηγηματικών μεταβλητών με τη χρήση μιας ευθείας γραμμής. Αποτελεί ειδική περίπτωση της ανάλυσης παλινδρόμησης.
Η γραμμική παλινδρόμηση ήταν ο πρώτος τύπος ανάλυσης παλινδρόμησης που μελετήθηκε αυστηρά. Αυτό οφείλεται στο γεγονός ότι τα μοντέλα που εξαρτώνται γραμμικά από τις άγνωστες παραμέτρους τους είναι ευκολότερο να προσαρμοστούν από τα μοντέλα που σχετίζονται μη γραμμικά με τις παραμέτρους τους. Επιπλέον, οι στατιστικές ιδιότητες των εκτιμητών που προκύπτουν είναι ευκολότερο να προσδιοριστούν.
Η γραμμική παλινδρόμηση έχει πολλές πρακτικές χρήσεις. Οι περισσότερες εφαρμογές εμπίπτουν σε μία από τις ακόλουθες δύο μεγάλες κατηγορίες:
- Η γραμμική παλινδρόμηση μπορεί να χρησιμοποιηθεί για την προσαρμογή ενός προγνωστικού μοντέλου σε ένα σύνολο παρατηρούμενων τιμών (δεδομένων). Αυτό είναι χρήσιμο, εάν ο στόχος είναι η πρόβλεψη, ή η πρόβλεψη, ή η μείωση. Μετά την ανάπτυξη ενός τέτοιου μοντέλου, εάν στη συνέχεια δοθεί μια πρόσθετη τιμή του Χ χωρίς τη συνοδευτική τιμή του y, το προσαρμοσμένο μοντέλο μπορεί να χρησιμοποιηθεί για να γίνει πρόβλεψη της τιμής του y.
- Δεδομένης μιας μεταβλητής y και ενός αριθμού μεταβλητών X1, ..., Xp που μπορεί να σχετίζονται με την y, η ανάλυση γραμμικής παλινδρόμησης μπορεί να εφαρμοστεί για να ποσοτικοποιηθεί η ισχύς της σχέσης μεταξύ της y και των Xj, για να εκτιμηθεί ποια Xj δεν έχει καμία σχέση με την y και για να προσδιοριστεί ποια υποσύνολα των Xj περιέχουν περιττές πληροφορίες σχετικά με την y.
Τα μοντέλα γραμμικής παλινδρόμησης προσπαθούν να καταστήσουν την κάθετη απόσταση μεταξύ της γραμμής και των σημείων δεδομένων (π.χ. τα κατάλοιπα) όσο το δυνατόν μικρότερη. Αυτό ονομάζεται "προσαρμογή της γραμμής στα δεδομένα". Συχνά, τα μοντέλα γραμμικής παλινδρόμησης προσπαθούν να ελαχιστοποιήσουν το άθροισμα των τετραγώνων των υπολοίπων (ελάχιστα τετράγωνα), αλλά υπάρχουν και άλλοι τρόποι προσαρμογής. Περιλαμβάνουν την ελαχιστοποίηση της "έλλειψης προσαρμογής" σε κάποια άλλη νόρμα (όπως στην παλινδρόμηση ελαχίστων απόλυτων αποκλίσεων) ή την ελαχιστοποίηση μιας ποινικοποιημένης έκδοσης της συνάρτησης απώλειας ελαχίστων τετραγώνων, όπως στην παλινδρόμηση κορυφογραμμής. Η προσέγγιση των ελαχίστων τετραγώνων μπορεί επίσης να χρησιμοποιηθεί για την προσαρμογή μοντέλων που δεν είναι γραμμικά. Όπως περιγράφεται παραπάνω, οι όροι "ελαχίστων τετραγώνων" και "γραμμικό μοντέλο" συνδέονται στενά, αλλά δεν είναι συνώνυμα.
