Όταν ήταν αντιπρόεδρος, ο Μίλαρντ Φίλμορ ήταν επικεφαλής της Γερουσίας των Ηνωμένων Πολιτειών, ενώ αυτή διαφωνούσε για μια απόφαση σχετικά με τη δουλεία που αφορούσε το Τέξας και το Νέο Μεξικό.
Όταν έγινε πρόεδρος, το ζήτημα της δουλείας ήταν πολύ έντονο (σε σημείο που οι νότιες πολιτείες ήταν κοντά στο να επιλέξουν να μην αποτελούν πλέον μέρος των Ηνωμένων Πολιτειών).
Ο Φίλμορ υπέγραψε τον Συμβιβασμό του 1850 (πέντε νόμοι που θα ηρεμούσαν το ζήτημα της δουλείας, ικανοποιώντας τόσο τις βόρειες όσο και τις νότιες πολιτείες). Παρόλο που ο Συμβιβασμός του 1850 έκανε τις βόρειες και τις νότιες πολιτείες να τα βρουν μεταξύ τους, η ειρήνη δεν κράτησε για πάντα. Στα τέλη της δεκαετίας του 1850 ο βορράς και ο νότος σταμάτησαν να τα πηγαίνουν καλά.
Η Καλιφόρνια έγινε τμήμα των ΗΠΑ στις 9 Σεπτεμβρίου 1850. Έγινε η 31η πολιτεία.
Η απόφασή του να υπογράψει τον Συμβιβασμό του 1850 έκανε πολλούς από το κόμμα των Ουίγων να δυσαρεστηθούν μαζί του. Τον εμπόδισαν να θέσει υποψηφιότητα για πρόεδρος το 1852.
Ξεκίνησε την πρώτη βιβλιοθήκη στον Λευκό Οίκο.