Όταν ο Γρηγόριος Ζ΄, ένας μεταρρυθμιστής μοναχός, εξελέγη πάπας το 1073, άρχισε η διαμάχη μεταξύ αυτοκράτορα και πάπα.
Στις ανώτερες βαθμίδες του γερμανικού κλήρου, ο Γρηγόριος είχε πολλούς εχθρούς. Ως εκ τούτου, ο βασιλιάς Ερρίκος δήλωσε ότι ο Γρηγόριος δεν ήταν πλέον πάπας και ότι οι Ρωμαίοι έπρεπε να επιλέξουν νέο πάπα [1]. Όταν ο Γρηγόριος το έμαθε αυτό, αφορίζει τον Ερρίκο Δ΄, δήλωσε ότι δεν ήταν πλέον αυτοκράτορας και είπε στους υπηκόους του ότι δεν έπρεπε πλέον να τον υπακούουν, όπως είχαν ορκιστεί να κάνουν.
Ο αφορισμός του βασιλιά προκάλεσε βαθιά εντύπωση τόσο στη Γερμανία όσο και στην Ιταλία. Τριάντα χρόνια πριν, ο πατέρας του Ερρίκος Γ΄ είχε καθαιρέσει τρεις πάπες, αλλά όταν ο Ερρίκος Δ΄ προσπάθησε να αντιγράψει αυτή τη διαδικασία δεν είχε την υποστήριξη του λαού. Οι Σάξονες άρχισαν μια δεύτερη εξέγερση και το αντιβασιλικό κόμμα δυνάμωνε από μήνα σε μήνα.
Προς Canossa
Ο Ερρίκος είχε αφοριστεί μέχρι τότε, και αντιμετωπίζοντας ευρεία αντιπολίτευση στην πατρίδα του, με τον Ρούντολφ να είναι η κεφαλή αυτής, ο Ερρίκος συνάντησε τον Πάπα σε ένα φρούριο στις νότιες Άλπεις. Επί τρεις ημέρες υπέδειξε τη μετάνοιά του στο χιόνι, ξυπόλητος και φορώντας ένα σάκο, οδηγώντας σε συμφιλίωση με τον Πάπα Γρηγόριο Ζ΄.
Δεύτερος αφορισμός του Ερρίκου
Η αντιπολίτευση των επαναστατημένων Γερμανών ευγενών χρησιμοποίησε τον αφορισμό του Ερρίκου για να εγκαθιδρύσει έναν αντίπαλο βασιλιά, τον Ρούντολφ του Ράινφελντεν (Φόρχχαϊμ, Μάρτιος 1077). Στην αρχή ο Γρηγόριος φαινόταν να είναι ουδέτερος, επειδή τα δύο μέρη (αυτοκράτορας και επαναστάτες) ήταν αρκετά ίσα σε δύναμη. Τελικά όμως αποφάσισε υπέρ του Ρούντολφ μετά τη νίκη του στο Φλάρχχαϊμ (27 Ιανουαρίου 1080) και κήρυξε εκ νέου τον αφορισμό και την καθαίρεση του βασιλιά Ερρίκου (7 Μαρτίου 1080).
Αυτό θεωρήθηκε ευρέως ως αδικία. Όταν ο Ρούντολφ πέθανε στις 16 Οκτωβρίου του ίδιου έτους, ο Ερρίκος, πιο έμπειρος πλέον, ανέλαβε τον αγώνα. Το 1081 άνοιξε τη σύγκρουση με τον Γρηγόριο στην Ιταλία. Ο Γρηγόριος είχε γίνει πλέον λιγότερο ισχυρός και δεκατρείς καρδινάλιοι τον εγκατέλειψαν. Η Ρώμη παραδόθηκε στον Γερμανό βασιλιά και ο Γκιβέρτος της Ραβέννας ενθρονίστηκε ως Κλήμης Γ΄ (24 Μαρτίου 1084). Ο Ερρίκος στέφθηκε αυτοκράτορας από τον αντίπαλό του, ενώ ο ίδιος ο Γρηγόριος αναγκάστηκε να διαφύγει από τη Ρώμη με τη συνοδεία του Νορμανδού "υποτελούς" του Ροβέρτου Γκισκάρ.