Ο Thielemans ξεκίνησε την καριέρα του ως κιθαρίστας. Το 1949 συμμετείχε σε ένα τζαμάρισμα στο Παρίσι με τους Sidney Bechet, Charlie Parker, Miles Davis, Max Roach και άλλους. Το 1949 και το 1950 συμμετείχε σε ευρωπαϊκές περιοδείες με τον Benny Goodman. Έκανε τον πρώτο του δίσκο στο Παρίσι μαζί με τον συνάδελφό του στο συγκρότημα, τον τενόρο σαξοφωνίστα Zoot Sims. Το 1951 έγινε μέλος της μπάντας των Bobbejaan Schoepen.
Μετακόμισε στις ΗΠΑ το 1952. Ήταν μέλος των Charlie Parker's All-Stars και συνεργάστηκε με τον Miles Davis και την Dinah Washington. Έπαιξε και ηχογράφησε με τους Ella Fitzgerald, Jaco Pastorius, Peggy Lee, The George Shearing Quintet, Quincy Jones, Oscar Peterson, Bill Evans, Paul Simon, Billy Joel, The Happenings, Astrud Gilberto, Shirley Horn, Elis Regina και άλλους.
Ένα πρότυπο της τζαζ από τον Toots Thielemans είναι το "Bluesette" όπου χρησιμοποίησε σφυρίγματα και κιθάρα σε συνδυασμό. Το τραγούδι ηχογραφήθηκε για πρώτη φορά από τον Toots το 1962, με τους στίχους να προστίθενται από τον Norman Gimbel και έγινε μεγάλη παγκόσμια επιτυχία. Το παίξιμο της φυσαρμόνικας του ακούγεται επίσης σε ταινίες όπως Midnight Cowboy, Jean de Florette, Sugarland Express, The Yakuza, Turkish Delight, The Getaway, French Kiss, Dunderklumpen. Η μουσική του ακούστηκε επίσης σε τηλεοπτικά προγράμματα, όπως το Sesame Street, η βελγική τηλεοπτική σειρά Witse και η ολλανδική τηλεοπτική σειρά Baantjer. Έφτιαξε τη μουσική για τη σουηδική ταινία Dunderklumpen! του 1974. Έδωσε επίσης τη φωνή του στον χαρακτήρα κινουμένων σχεδίων Pellegnillot.
Το σφύριγμα και το παίξιμο της φυσαρμόνικας του ακούγονται σε ραδιοφωνικές και τηλεοπτικές διαφημίσεις του Old Spice που έχουν γυριστεί όλα αυτά τα χρόνια. Κατά τη διάρκεια της δεκαετίας του 1980 εμφανίστηκε με τον μπασίστα και συνθέτη/αρχηγό συγκροτήματος Jaco Pastorius. Το 1983 συμμετείχε στο άλμπουμ του Billy Joel An Innocent Man και η χαρακτηριστική του φυσαρμόνικα ακούγεται στο "Leave a Tender Moment Alone". Ένα χρόνο αργότερα, εμφανίστηκε στο τραγούδι του Julian Lennon "Too Late For Goodbyes" από το άλμπουμ Valotte. Το 1984, ηχογράφησε το τελευταίο άλμπουμ του Billy Eckstine (I Am A Singer). Το 1998 κυκλοφόρησε ένα άλμπουμ γαλλικού στυλ με τίτλο "Chez Toots". Περιελάμβανε το Les Moulins De Mon Coeur (Οι μύλοι της καρδιάς μου) με καλεσμένο τραγουδιστή τον Johnny Mathis.
Εκτός από τη δημοτικότητά του ως μουσικός, ήταν ιδιαίτερα αγαπητός για τη σεμνότητα και την ευγενική του συμπεριφορά. Το 2001 ο βασιλιάς Αλβέρτος Β' του Βελγίου αναγόρευσε τον Thielemans σε βαρόνο.
