Ο Lee κληρονόμησε έναν αριθμό σκλάβων με το Arlington House. Αποδείχθηκε ότι δεν ήταν πολύ καλός κύριος των σκλάβων. Προσπάθησε να είναι ευγενικός και αρνήθηκε να χρησιμοποιήσει βασανιστήρια. Όμως οι σκλάβοι γνώριζαν ότι η ελευθερία τους είχε παραχωρηθεί με τη διαθήκη και αρνήθηκαν να εργαστούν. Ο Λι ήθελε να τους παραχωρήσει την ελευθερία τους, αλλά τους χρειαζόταν για να τον βοηθήσουν να φέρει εις πέρας τις εργασίες στο Arlington House. Προσωπικά, ο Λι μισούσε τη δουλεία χαρακτηρίζοντάς την "κακό" τόσο για
τους μαύρους όσο και για τους λευκούς. Πίστευε όμως ότι έπρεπε να τερματιστεί σταδιακά αλλιώς η οικονομία του Νότου θα wikt:κατέρρεε. Όμως ο Λι συμφωνούσε με άλλους Νότιους που πίστευαν ότι οι μαύροι ήταν κατώτεροι. Πίστευε ότι ο
Θεός θα έλυνε το πρόβλημα στη δική του εποχή. Ο Λι, όπως και ο Τόμας Τζέφερσον, είχε ανάμεικτα συναισθήματα για τη δουλεία.
Η εκλογή του Αβραάμ Λίνκολν το 1860 προκάλεσε την απόσχιση πολλών πολιτειών σε ένδειξη διαμαρτυρίας. Αυτό έφερε τον Λι σε δύσκολη θέση. Οι νεοσύστατες Συνομοσπονδιακές Πολιτείες της Αμερικής προσέφεραν στον Λι τον βαθμό του ταξίαρχου. Ο Λι δεν ανταποκρίθηκε στην προσφορά. Ο Γουίνφιλντ Σκοτ του προσέφερε τη διοίκηση του στρατού των εθελοντών των ΗΠΑ. Ούτε σε αυτή την προσφορά απάντησε. Μεταξύ 12-14 Απριλίου 1861, τα αμερικανικά στρατεύματα βομβαρδίστηκαν στο οχυρό Σάμτερ στο Τσάρλεστον της Νότιας Καρολίνας. Την ίδια ημέρα η Βιρτζίνια αποσχίστηκε από την Ένωση. Ο Λι δεν υποστήριζε την απόσχιση, αλλά δεν μπορούσε να πολεμήσει την ίδια του την πολιτεία της Βιρτζίνια. Ο Λι παραιτήθηκε από το αξίωμά του στον αμερικανικό στρατό στις 22 Απριλίου 1861, στο σπίτι του Άρλινγκτον. Είπε στους φίλους του ότι δεν θα συμμετείχε σε μια εισβολή στο Νότο. Αρκετές ημέρες αργότερα αποδέχθηκε τη διοίκηση όλων των δυνάμεων της Βιρτζίνια.
Στην αρχή, ο Λι δεν διέταξε κανέναν στρατιώτη στη μάχη. Αντιθέτως, βοηθούσε τον πρόεδρο της Συνομοσπονδίας Τζέφερσον Ντέιβις να λαμβάνει στρατιωτικές αποφάσεις. Το 1862, έγινε διοικητής της Στρατιάς της Βόρειας Βιρτζίνια. Θα ηγείτο του στρατού για το υπόλοιπο του πολέμου. Θα κέρδιζε πολλές μάχες, παρόλο που ο στρατός της Ένωσης στις μάχες είχε περισσότερους άνδρες και όπλα. Στη μάχη του Γκέτισμπεργκ, προσπάθησε να εισβάλει στην Ένωση προκειμένου να τερματίσει τον πόλεμο. Όμως ο στρατός του ηττήθηκε και αναγκάστηκε να υποχωρήσει πίσω στη Βιρτζίνια.
Κατά τη διάρκεια του 1864 και του 1865, ο Λι πολέμησε τον στρατηγό της Ένωσης Οδυσσέα Σ. Γκραντ στη Βιρτζίνια. Στα τέλη του 1864 και στις αρχές του 1865, ο Λι και ο Γκραντ πολέμησαν κοντά στο Ρίτσμοντ της Βιρτζίνια σε μια σειρά μαχών που ονομάστηκε "Πολιορκία της Πετρούπολης". Τον Απρίλιο του 1865, ο Γκραντ ανάγκασε τον Λι να υποχωρήσει από το Ρίτσμοντ. Μετά από μια σειρά μαχών, ο Γκραντ περικύκλωσε τον Λι κοντά στο Appomattox Courthouse και ανάγκασε τον Λι να παραδοθεί. Πριν παραδοθεί, είπε: "Προτιμώ να πεθάνω χίλιους θανάτους παρά να παραδοθώ".