Το 1966, ο Harrison παντρεύτηκε ένα μοντέλο, την Pattie Boyd, αλλά χώρισαν το 1971 και δεν απέκτησαν παιδιά. Η Boyd άφησε τον Harrison για να είναι με τον φίλο του, τον κιθαρίστα Eric Clapton, αλλά και οι τρεις τους παρέμειναν φίλοι. Ο Χάρισον παντρεύτηκε ξανά το 1978, την αμερικανικής καταγωγής Ολίβια Τρινιντάντ Αρίας, η οποία είχε εργαστεί για τη δισκογραφική του εταιρεία. Η Arias έγινε η μητέρα του γιου του Χάρισον, του Dhani, το όνομα του οποίου αποτελείται από τα ονόματα δύο νοτών της ινδικής μουσικής κλίμακας. Ο Dhani μεγάλωσε για να γίνει μουσικός όπως ο πατέρας του και να γίνει μπροστάρης του συγκροτήματος thenewno2. Πήγε στο Πανεπιστήμιο Brown στις Ηνωμένες Πολιτείες.
Στα τέλη της δεκαετίας του 1970 ο Harrison ίδρυσε μια εταιρεία παραγωγής ταινιών, την Handmade Films, η οποία παρήγαγε ταινίες όπως το Life of Brian των Monty Python και το Time Bandits του Terry Gilliam.
Οι χώροι του σπιτιού του Χάρισον, Friar Park, ήταν λίγο πολύ ανοιχτοί στο κοινό, μέχρι τη δολοφονία του πρώην συμπαίκτη του Τζον Λένον στα τέλη του 1980. Ο Χάρισον ήταν πολύ πληγωμένος και σοκαρισμένος από τον θάνατο του Λένον και φοβόταν ότι κάποιος θα προσπαθούσε να βλάψει τον ίδιο ή την οικογένειά του. Στη συνέχεια, οι πύλες κλειδώθηκαν και αναρτήθηκαν ανακοινώσεις απαγόρευσης εισόδου. Τον Δεκέμβριο του 1999, ένας εισβολέας εισέβαλε στο σπίτι του και τον μαχαίρωσε με μαχαίρι. Ο Χάρισον και η σύζυγός του Ολίβια σταμάτησαν τον εισβολέα και κάλεσαν την αστυνομία. Ο Χάρισον συνήλθε. Ο άνδρας που του επιτέθηκε είναι σχιζοφρενής και αθωώθηκε για απόπειρα δολοφονίας λόγω παραφροσύνης τον Νοέμβριο του 2000 στο Δικαστήριο της Οξφόρδης. Εστάλη σε ψυχιατρική κλινική και αποφυλακίστηκε το 2002.