Στατιστικά σφάλματα και υπολείμματα προκύπτουν επειδή η μέτρηση δεν είναι ποτέ ακριβής.

Δεν είναι δυνατόν να γίνει ακριβής μέτρηση, αλλά είναι δυνατόν να πούμε πόσο ακριβής είναι μια μέτρηση. Μπορεί κανείς να μετρήσει το ίδιο πράγμα ξανά και ξανά και να συλλέξει όλα τα δεδομένα μαζί. Αυτό μας επιτρέπει να κάνουμε στατιστικές για τα δεδομένα. Αυτό που εννοούμε με τα σφάλματα και τα κατάλοιπα είναι η διαφορά μεταξύ της παρατηρούμενης ή της μετρούμενης τιμής και της πραγματικής τιμής, η οποία είναι άγνωστη.

Εάν υπάρχει μόνο μία τυχαία μεταβλητή, η διαφορά μεταξύ των στατιστικών σφαλμάτων και των υπολειμμάτων είναι η διαφορά μεταξύ του μέσου όρου του πληθυσμού και του μέσου όρου του (παρατηρούμενου) δείγματος. Σε αυτή την περίπτωση το υπόλειμμα είναι η διαφορά μεταξύ αυτού που λέει η κατανομή πιθανοτήτων και αυτού που μετρήθηκε πραγματικά.

Ας υποθέσουμε ότι υπάρχει ένα πείραμα για τη μέτρηση του ύψους 21χρονων ανδρών από μια συγκεκριμένη περιοχή. Ο μέσος όρος της κατανομής είναι 1,75 m. Αν ένας άνδρας που επιλέγεται τυχαία έχει ύψος 1,80 m, το "(στατιστικό) σφάλμα" είναι 0,05 m (5 cm)- αν έχει ύψος 1,70, το σφάλμα είναι -5 cm.

Από την άλλη πλευρά, ένα υπόλειμμα (ή σφάλμα προσαρμογής) είναι μια παρατηρήσιμη εκτίμηση του μη παρατηρήσιμου στατιστικού σφάλματος. Η απλούστερη περίπτωση περιλαμβάνει ένα τυχαίο δείγμα n ανδρών των οποίων μετράται το ύψος. Ο μέσος όρος του δείγματος χρησιμοποιείται ως εκτίμηση του μέσου όρου του πληθυσμού. Τότε έχουμε:

  • Η διαφορά μεταξύ του ύψους κάθε άνδρα του δείγματος και του μη παρατηρήσιμου μέσου όρου του πληθυσμού είναι ένα στατιστικό σφάλμα και
  • Η διαφορά μεταξύ του ύψους κάθε άνδρα στο δείγμα και του παρατηρήσιμου μέσου όρου του δείγματος είναι ένα υπόλειμμα.

Το άθροισμα των υπολοίπων σε ένα τυχαίο δείγμα πρέπει να είναι μηδέν. Συνεπώς, τα κατάλοιπα δεν είναι ανεξάρτητα. Το άθροισμα των στατιστικών σφαλμάτων εντός ενός τυχαίου δείγματος δεν χρειάζεται να είναι μηδέν- τα στατιστικά σφάλματα είναι ανεξάρτητες τυχαίες μεταβλητές εάν τα άτομα επιλέγονται από τον πληθυσμό ανεξάρτητα.

Συνοψίζοντας: