Ο Κοέν ξεκίνησε καριέρα ως ποιητής και μυθιστοριογράφος κατά τη δεκαετία του 1950 και στις αρχές της δεκαετίας του 1960. Ο Κοέν ξεκίνησε τη μουσική του καριέρα μόλις το 1967, σε ηλικία 33 ετών. Το πρώτο του άλμπουμ, Songs of Leonard Cohen (1967), ακολουθήθηκε από τρία ακόμη άλμπουμ με λαϊκή μουσική: Songs from a Room (1969), Songs of Love and Hate (1971) και New Skin for the Old Ceremony (1974).
Το 1977 ο δίσκος του Death of a Ladies' Man γράφτηκε σε συνεργασία με τον Phil Spector και σε παραγωγή του Phil Spector. Το 1979, ο Cohen επέστρεψε με το πιο παραδοσιακό Recent Songs, το οποίο ανακάτευε το ακουστικό του στυλ με τζαζ και ανατολίτικες και μεσογειακές επιρροές.
Το "Hallelujah" κυκλοφόρησε για πρώτη φορά στο στούντιο άλμπουμ Various Positions του Cohen το 1984. Ο Cohen έγραψε περίπου 80 προσχέδια στίχων για το "Hallelujah", ενώ σε μια συνεδρία συγγραφής στο ξενοδοχείο Royalton στη Νέα Υόρκη περιορίστηκε να κάθεται στο πάτωμα με τα εσώρουχα και να χτυπάει το κεφάλι του στο πάτωμα. Αυτό έγινε το πιο γνωστό έργο του Κοέν. Το I'm Your Man το 1988 σηματοδότησε το πιο δημοφιλές άλμπουμ του Κοέν με το τραγούδι "Everybody Knows". Το 1992, ο Cohen κυκλοφόρησε τη συνέχειά του, το The Future, το οποίο είχε σκοτεινούς στίχους και αναφορές σε πολιτικές και κοινωνικές αναταραχές.
Ο Cohen επέστρεψε στη μουσική το 2001 με την κυκλοφορία του Ten New Songs, το οποίο σημείωσε μεγάλη επιτυχία στον Καναδά και την Ευρώπη. Το ενδέκατο άλμπουμ του, Dear Heather, ακολούθησε το 2004. Μετά από μια σειρά επιτυχημένων περιοδειών μεταξύ 2008 και 2010, ο Cohen κυκλοφόρησε τρία άλμπουμ τα τελευταία τέσσερα χρόνια της ζωής του: Old Ideas (2012), Popular Problems (2014) και You Want It Darker (2016), το τελευταίο εκ των οποίων κυκλοφόρησε τρεις εβδομάδες πριν από τον θάνατό του.