Η Κολούμπια βρίσκεται στη γραμμή πτώσης από τα Απαλάχια Όρη. Η γραμμή πτώσης είναι το σημείο όπου οι βάρκες δεν μπορούν να ταξιδέψουν πιο πάνω στο ρεύμα, και είναι επίσης το πιο απομακρυσμένο σημείο στο ρεύμα όπου το νερό που πέφτει μπορεί να τροφοδοτήσει έναν μύλο.
Η πρωτεύουσα της πολιτείας πριν από το 1790 ήταν το Τσάρλεστον στις ακτές του Ατλαντικού Ωκεανού. Το 1786, το νομοθετικό σώμα αποφάσισε να μεταφέρει την πρωτεύουσα στο κέντρο της πολιτείας, και η τοποθεσία της Κολούμπια επιλέχθηκε για τη θέση της στον ποταμό, μόλις 13 μίλια (21 χλμ.) βορειοδυτικά του γεωγραφικού κέντρου της Νότιας Καρολίνας. Το πολιτειακό νομοθετικό σώμα συνεδρίασε για πρώτη φορά εκεί το 1790. Αφού παρέμεινε υπό την άμεση διακυβέρνηση του νομοθετικού σώματος κατά τις δύο πρώτες δεκαετίες της ύπαρξής της, η Κολούμπια ενσωματώθηκε ως χωριό το 1805 και στη συνέχεια ως πόλη το 1854. Η Κολούμπια έλαβε μεγάλη ώθηση στην ανάπτυξη όταν συνδέθηκε με άμεση υδάτινη οδό με το Τσάρλεστον, μέσω της διώρυγας Santee. Η διώρυγα αυτή συνέδεσε τους ποταμούς Santee και Cooper σε ένα τμήμα μήκους 35 χιλιομέτρων (22 μιλίων). Χαρτογραφήθηκε για πρώτη φορά το 1786 και ολοκληρώθηκε το 1800, καθιστώντας το ένα από τα πρώτα κανάλια στις Ηνωμένες Πολιτείες. Με την αύξηση της σιδηροδρομικής κίνησης, σταμάτησε τη λειτουργία του γύρω στο 1850.
Η Κολούμπια ήταν μία από τις πρώτες πόλεις με σχέδιο στις Ηνωμένες Πολιτείες. Είναι γνωστή για τους φαρδείς δρόμους της.
Στις 17 Φεβρουαρίου 1865, κατά τη διάρκεια του Εμφυλίου Πολέμου, μια πυρκαγιά κατέστρεψε μεγάλο μέρος της Κολούμπια, ενώ καταλαμβανόταν από τα στρατεύματα της Ένωσης υπό τη διοίκηση του στρατηγού Γουίλιαμ Τέκουμσεχ Σέρμαν.
Ο 20ός αιώνας είδε την Κολούμπια να αναδεικνύεται σε περιφερειακό κέντρο παραγωγής κλωστοϋφαντουργικών προϊόντων. Τη δεκαετία του 1920, οι επιχειρηματίες της Κολούμπια κατασκεύασαν ένα μεγάλο φράγμα στον ποταμό Saluda για την παραγωγή υδροηλεκτρικής ενέργειας. Το φράγμα, που χρησιμοποιούσε το γηγενές κοκκινοπηλώδες έδαφος και το μητρικό πέτρωμα, ήταν το μεγαλύτερο χωμάτινο φράγμα στον κόσμο όταν ολοκληρώθηκε το 1930. Η λίμνη Μάρεϊ που σχηματίστηκε από το φράγμα έχει μήκος 41 μίλια (66 χλμ.) και πλάτος 14 μίλια (23 χλμ.) στο ευρύτερο σημείο της. Την εποχή που η λίμνη ολοκληρώθηκε, ήταν ο μεγαλύτερος τεχνητός ταμιευτήρας στον κόσμο. Η εταιρεία που κατασκεύασε το φράγμα εξελίχθηκε στην SCANA Corporation, έναν από τους μεγαλύτερους εργοδότες της Κολούμπια.
Η πόλη της Κολούμπια ολοκλήρωσε πρόσφατα μια σειρά από έργα ανάπλασης και έχει προγραμματίσει αρκετά ακόμη. Η ιστορική Congaree Vista, μια περιοχή 1.200 στρεμμάτων (5 χλμ.2 ) που εκτείνεται από την κεντρική επιχειρηματική περιοχή προς τον ποταμό Congaree, διαθέτει πολλά ιστορικά κτίρια που έχουν αποκατασταθεί.