Η Holiday δήλωσε ότι άρχισε να κάνει χρήση σκληρών ναρκωτικών στις αρχές της δεκαετίας του 1940. Είχε παντρευτεί τον τρομπονίστα Jimmy Monroe στις 25 Αυγούστου 1941. Όταν ήταν ακόμα παντρεμένη με τον Monroe, ξεκίνησε μια ρομαντική σχέση με τον τρομπετίστα Joe Guy, ο οποίος ήταν επίσης ο έμπορος ναρκωτικών της. Έζησε μαζί του ως σύζυγός του (αποκαλούμενη κοινή σύζυγος) και χώρισε από τον Μονρό το 1947. Χώρισε επίσης από τον Guy. Αφού της συνελήφθη και καταδικάστηκε για κατοχή ναρκωτικών το 1947, δεν της επιτράπηκε να εργάζεται σε κλαμπ της Νέας Υόρκης για το υπόλοιπο της ζωής της. Η μόνη φορά που μπόρεσε ήταν όταν τραγούδησε στο Ebony Club το 1948, όπου είχε την άδεια του John Levy.
Στη δεκαετία του 1950, η υγεία της Holiday έγινε κακή, εξαιτίας της κατανάλωσης αλκοόλ, της χρήσης ναρκωτικών και των σχέσεών της με βίαιους άνδρες. Η φωνή της έγινε τραχιά, αλλά κάποιοι λένε ότι το τραγούδι της έγινε πιο συναισθηματικό.
Στις 28 Μαρτίου 1952, η Holiday παντρεύτηκε τον Louis McKay, έναν άνδρα που εργαζόταν για τη Μαφία. Ο McKay, όπως και οι περισσότεροι άνδρες στη ζωή της, ήταν βίαιος, αλλά προσπάθησε να την πείσει να σταματήσει τη χρήση ναρκωτικών. Αργότερα χώρισαν.
Στις 10 Νοεμβρίου 1956, έδωσε δύο συναυλίες ενώπιον μεγάλου κοινού στο Carnegie Hall.
Η Holiday βγήκε για πρώτη φορά σε ευρωπαϊκή περιοδεία το 1954 με τον Buddy DeFranco και τον Red Norvo. Όταν επέστρεψε στην Ευρώπη, σχεδόν πέντε χρόνια αργότερα, βγήκε στην τηλεόραση για την εκπομπή Chelsea at Nine της Granada, στο Λονδίνο. Αυτή ήταν μια από τις τελευταίες φορές που εμφανίστηκε στην τηλεόραση. Οι τελευταίες της ηχογραφήσεις στο στούντιο έγιναν για την MGM το 1959, με τον Ray Ellis και την ορχήστρα του, οι οποίοι την είχαν επίσης συνοδεύσει στο άλμπουμ Lady in Satin της Columbia το 1958. Οι ηχογραφήσεις της MGM κυκλοφόρησαν μετά το θάνατο της Holiday σε ένα άλμπουμ με τίτλο Last Recordings.
Η αυτοβιογραφία της Holiday, Lady Sings the Blues, εκδόθηκε το 1956. Ήταν γραμμένο από τον William Dufty, συγγραφέα και συντάκτη της New York Post, ο οποίος ήταν παντρεμένος με τη στενή φίλη της Holiday, Maely Dufty. Έγραψε το βιβλίο γρήγορα, αφού μίλησε με τον Holiday στο διαμέρισμά του, καθώς και χρησιμοποιώντας προηγούμενους συνεντευξιαζόμενους. Ήθελε να αφήσει τη Holiday να πει την ιστορία της με τον δικό της τρόπο.
Η Holiday δεν απέκτησε ποτέ δικά της παιδιά, αλλά είχε δύο βαφτιστήρια: την τραγουδίστρια Billie Lorraine Feather, κόρη του Leonard Feather, και τον Bevan Dufty, γιο του William Dufty.