Αφού αποφοίτησε από το λύκειο το 1944, ο Ντέιβις μετακόμισε στη Νέα Υόρκη για να σπουδάσει στη Μουσική Σχολή Τζούλιαρντ.
Όταν έφτασε στη Νέα Υόρκη, πέρασε τον περισσότερο χρόνο του προσπαθώντας να έρθει σε επαφή με τον Charlie Parker, παρόλο που κάποιοι του είχαν πει ότι δεν έπρεπε. Όταν βρήκε τον Πάρκερ, ο Ντέιβις συμμετείχε σε τζαμάρισμα που γινόταν κάθε βράδυ σε δύο νυχτερινά κλαμπ του Χάρλεμ, το Minton's Playhouse και το Monroe's. Άλλοι διάσημοι μουσικοί όπως ο Thelonious Monk και ο Kenny Clarke έλαβαν επίσης μέρος σε αυτές τις συνεδρίες.
Ο Davis εγκατέλειψε το Juilliard νωρίς, αφού πρώτα ζήτησε την άδεια του πατέρα του. Δεν του άρεσαν τα μαθήματα στο Juilliard, επειδή πίστευε ότι επικεντρώνονταν υπερβολικά στην κλασική ευρωπαϊκή και "λευκή" μουσική. Είπε επίσης ότι τα μαθήματα στο Juilliard τον βοήθησαν να κατανοήσει τη θεωρία της μουσικής.
Άρχισε να παίζει επαγγελματικά σε πολλά τζαζ γκρουπ, παίζοντας σε διάφορα κλαμπ της 52ης οδού με τον Coleman Hawkins και τον Eddie "Lockjaw" Davis. Το 1945 μπήκε για πρώτη φορά σε στούντιο ηχογράφησης, ως μέλος του γκρουπ του Herbie Fields. Το 1946 έκανε την πρώτη του ηχογράφηση ως αρχηγός συγκροτήματος, με ένα συγκρότημα που ονομαζόταν "Miles Davis Sextet plus Earl Coleman and Ann Hathaway". Δεν έκανε πολλές ηχογραφήσεις ως bandleader εκείνη την περίοδο.
Γύρω στο 1945, ο Dizzy Gillespie σταμάτησε να συνεργάζεται με τον Parker και ο Parker προσέλαβε τον Davis ως αντικαταστάτη του Gillespie στο κουιντέτο του. Στο γκρουπ συμμετείχαν επίσης ο Max Roach στα τύμπανα, ο Al Haig (αντικαταστάθηκε αργότερα από τον Sir Charles Thompson και τον Duke Jordan) στο πιάνο και ο Curley Russell (αντικαταστάθηκε αργότερα από τον Tommy Potter και τον Leonard Gaskin) ως μπασίστας.
Με το κουιντέτο του Parker, ο Davis ηχογράφησε αρκετές φορές. Είχε ένα σόλο στο χαρακτηριστικό τραγούδι του Parker, "Now's the Time". Αυτό το σόλο οδήγησε στην αρχή ενός στυλ τζαζ που ονομάζεται "cool jazz". Το γκρουπ περιόδευσε επίσης στις Ηνωμένες Πολιτείες. Κατά τη διάρκεια μιας περιοδείας στο Λος Άντζελες, ο Πάρκερ έπαθε νευρικό κλονισμό και πήγε στο κρατικό ψυχιατρείο Camarillo για αρκετούς μήνες. Ο Ντέιβις βρέθηκε στο Λος Άντζελες, όπου έμεινε μαζί με τον μουσικό της τζαζ Τσαρλς Μίνγκους και έπαιξε μουσική μαζί του. Αργότερα βρήκε δουλειά με τον Billy Eckstine σε μια περιοδεία στην Καλιφόρνια που τον έφερε πίσω στη Νέα Υόρκη. Το 1948, ο Πάρκερ επέστρεψε από το Λος Άντζελες και ο Ντέιβις εντάχθηκε και πάλι στο συγκρότημά του.
Οι μουσικοί στο γκρουπ του Parker δεν τα πήγαιναν πολύ καλά. Η συμπεριφορά του Πάρκερ ήταν απρόβλεπτη εξαιτίας του εθισμού του στα ναρκωτικά. Οι Davis και Roach δεν συμφωνούσαν με την πρόσληψη του Duke Jordan από τον Parker ως πιανίστα και θα προτιμούσαν τον Bud Powell). Τον Δεκέμβριο του 1948, ο Ντέιβις εγκατέλειψε το γκρουπ μετά από έναν καυγά με τον Πάρκερ στο Royal Roost. Άρχισε να εργάζεται πιο ανεξάρτητα με διάφορα γκρουπ στη Νέα Υόρκη.