Ο Edward Kennedy Ellington γεννήθηκε στις 29 Απριλίου 1899. Οι γονείς του ονομάζονταν James Edward Ellington και Daisy Kennedy Ellington. Ζούσαν με τους γονείς της Daisy στην
Ουάσινγκτον. Ο James Edward Ellington (J.E.) γεννήθηκε στο Lincolnton της Βόρειας Καρολίνας στις 15 Απριλίου 1879 και μετακόμισε στην Ουάσινγκτον το 1886 με τους γονείς του. Η Ντέιζι Κένεντι γεννήθηκε στην Ουάσινγκτον στις 4 Ιανουαρίου 1879. Ο πατέρας της ήταν Αμερικανός
σκλάβος. Ο J.E. εργαζόταν για το Ναυτικό των Ηνωμένων Πολιτειών. Εργάστηκε επίσης ως μπάτλερ για έναν λευκό γιατρό. Περιστασιακά εργαζόταν ως τροφοδότης στο
Λευκό Οίκο... Η Ντέιζι και ο Τζέι-Ει έπαιζαν και οι δύο πιάνο.
Όταν ήταν επτά ετών, ο Ellington άρχισε να μαθαίνει πιάνο. Η Ντέιζι βοήθησε τον γιο της να μάθει καλούς τρόπους. Οι φίλοι του Έλινγκτον παρατήρησαν ότι συμπεριφερόταν σαν τζέντλεμαν και του έδωσαν το παρατσούκλι "Δούκας"". Στην αρχή, ο Έλινγκτον ενδιαφερόταν περισσότερο για το μπέιζμπολ παρά για το πιάνο. Αργότερα θυμήθηκε ότι ο πρόεδρος Θίοντορ Ρούσβελτ τον παρακολουθούσε να παίζει μπέιζμπολ. Ο Ellington πήγε στο Τεχνικό Λύκειο Armstrong στην Ουάσινγκτον. Η πρώτη του δουλειά ήταν να πουλάει φιστίκια σε αγώνες μπέιζμπολ των Washington Senators. Αυτή η δουλειά τον βοήθησε να αποκτήσει μεγαλύτερη αυτοπεποίθηση.
Το 1914, ο Ellington έγραψε το πρώτο του τραγούδι. Είχε μια δουλειά σε ένα καφενείο, σερβίροντας σόδα, χρησιμοποιώντας ένα σιντριβάνι με σόδα. Το τραγούδι του ονομάστηκε "Soda Fountain Rag". Δεν ήξερε ακόμα να διαβάζει ή να γράφει μουσική. Ο Ellington έχασε πολλά μαθήματα πιάνου και δεν πίστευε ότι ήταν πολύ καλός σε αυτό. Όταν ήταν 14 ετών άκουσε πιανίστες να παίζουν σε ένα μπιλιαρδάδικο. Εμπνεύστηκε να προσπαθήσει περισσότερο με το παίξιμο του πιάνου.
Άκουσε το πιάνο να παίζεται στην Ουάσινγκτον, τη Φιλαδέλφεια και το Ατλάντικ Σίτι. Προσπάθησε να αντιγράψει τα στυλ που άκουσε. Άρχισε να μαθαίνει για την αρμονία και έμαθε να διαβάζει και να γράφει μουσική. Άρχισε να παίζει συναυλίες σε καφετέριες και κλαμπ στην Ουάσινγκτον. Το 1916 είχε υποτροφία για να σπουδάσει τέχνη στο Ινστιτούτο Pratt στο Μπρούκλιν, αλλά αποφάσισε να επικεντρωθεί στη μουσική.
Μεταξύ 1917 και 1919, ο Ellington ξεκίνησε την επαγγελματική του μουσική καριέρα. Κατά τη διάρκεια της ημέρας, δούλευε ζωγραφίζοντας πινακίδες. Τη νύχτα έπαιζε πιάνο. Μερικές φορές, έπαιζε πιάνο με ανθρώπους που γνώριζε στην άλλη του δουλειά. Ξεκίνησε την πρώτη του μπάντα, τους "The Duke's Serenaders". Έπαιζαν στην Ουάσινγκτον και τη Βιρτζίνια σε χορούς και πάρτι. Οι άλλοι μουσικοί της μπάντας του ήταν ο Otto Hardwick, στο μπάσο και στη συνέχεια στο σαξόφωνο, ο Arthur Whetsol στην τρομπέτα, ο Elmer Snowden στο μπάντζο και ο Sonny Greer στα τύμπανα. Έπαιζαν τόσο για λευκούς όσο και για μαύρους, πράγμα ασυνήθιστο τότε.
