Οι εκβολές του ποταμού Ντον ήταν πολύ σημαντικές από την αρχαιότητα. Ήταν σημαντικό για πολιτιστικούς λόγους και για το εμπόριο. Εκεί βρισκόταν η ελληνική αποικία Τανάης, καθώς και το γενοβέζικο φρούριο Τάνα. Αργότερα, η Οθωμανική Αυτοκρατορία έχτισε εκεί ένα φρούριο. Το φρούριο αυτό ονομάστηκε Αζόφ.
Το Ροστόφ-ον-Ντον ιδρύθηκε το 1749. Εκείνη τη χρονιά χτίστηκε τελωνείο στον Ντον. Αργότερα, ακολούθησε ένα μεγάλο φρούριο. Πήρε το όνομά του από τον Άγιο Δημήτριο του Ροστόφ. Ο Δημήτριος του Ροστόφ ήταν επίσκοπος από την παλιά βόρεια πόλη Ροστόφ ο Μέγας. Με την πάροδο του χρόνου, η σημασία του φρουρίου Asov γινόταν όλο και μικρότερη. Ο οικισμός κοντά στο φρούριο έγινε πιο σημαντικός από το φρούριο. Ήταν το εμπορικό κέντρο της περιοχής. Το 1796 ο οικισμός αυτός έλαβε δικαιώματα πόλης και μετονομάστηκε σε Ροστόφ-ον-Ντον.
Ο ποταμός Ντον, από τον οποίο πήρε το όνομά της η πόλη, είναι ένας σημαντικός ναυτιλιακός δρόμος. Συνδέει τη νοτιοδυτική Ρωσία με περιοχές προς βορρά. Το Ροστόφ επί του Ντον είναι ένα σημαντικό ποτάμιο λιμάνι τόσο για τον άνθρωπο όσο και για τη βιομηχανική ναυτιλία. Με μια τόσο καλή γεωγραφική θέση, η πόλη αναπτύχθηκε γρήγορα. Είναι η πιο βιομηχανοποιημένη πόλη της Νότιας Ρωσίας. Εξαιτίας αυτού, η πόλη προκάλεσε μεγάλο πρόβλημα μεταξύ των Λευκών και των Μπολσεβίκων κατά τη διάρκεια του Εμφυλίου Πολέμου. Μέχρι το 1928, η περιφερειακή κυβέρνηση μεταφέρθηκε από την παλιά κοζάκικη πρωτεύουσα Νοβοτσερκάσκ στο Ροστόφ. Η κοντινή αρμενική πόλη Nor Nakhijevan έγινε μέρος της πόλης.
Στα σοβιετικά χρόνια, οι μπολσεβίκοι κατέστρεψαν δύο από τα κύρια μνημεία του Ροστόφ - τον καθεδρικό ναό του Αγίου Αλεξάντερ Νέφσκι (1908) και τον καθεδρικό ναό του Αγίου Γεωργίου στο Ναχιτσεβάν (1783-1807). Μεγάλο μέρος της πόλης καταστράφηκε από τις γερμανικές δυνάμεις που πήραν τον έλεγχό της τρεις φορές - το 1918, το 1941 και το 1942. Σήμερα, το πιο αξιοσημείωτο τμήμα της ιστορικής πόλης είναι ο πολύ μεγάλος καθεδρικός ναός της Γεννήσεως της Θεοτόκου (1860-87), σχεδιασμένος από τον Konstantin Thon.
Η πόλη ήταν επίσης η πατρίδα του πιο γνωστού κατά συρροή δολοφόνου της Ρωσίας Αντρέι Τσικατίλο, ο οποίος όμως δεν γεννήθηκε εκεί.
Το Ροστόφ επί του Ντον έχει μεγάλη οικονομική ανάπτυξη τα τελευταία χρόνια. Εν μέρει αυτό οφείλεται στο γεγονός ότι η ρωσική οικονομία ενισχύεται. Πολλές νέες εταιρείες έχουν δημιουργήσει κεντρικά γραφεία στην πόλη. Οι άνθρωποι που ζουν στην πόλη κερδίζουν περισσότερα χρήματα από ό,τι στο παρελθόν. Η πόλη μεταβάλλεται από ένα μέρος που έχει γυρίσει πίσω στο χρόνο λόγω της κατάρρευσης του κομμουνισμού σε μια σύγχρονη, βιομηχανική και πλούσια σε τεχνολογία πόλη.