Η Νότια Αφρική συμμετείχε για πρώτη φορά στους Ολυμπιακούς Αγώνες το 1904 και έστειλε αθλητές σε όλους τους θερινούς Ολυμπιακούς Αγώνες μέχρι το 1960. Μετά την ψήφιση του ψηφίσματος 1761 της Γενικής Συνέλευσης των Ηνωμένων Εθνών το 1962 ως απάντηση στην πολιτική απαρτχάιντ της Νότιας Αφρικής, το έθνος αποκλείστηκε από τους Αγώνες.

Μετά τις διαπραγματεύσεις για τον τερματισμό του απαρτχάιντ το 1990, το έθνος επανήλθε στο Ολυμπιακό κίνημα. Η Νοτιοαφρικανική Αθλητική Συνομοσπονδία και Ολυμπιακή Επιτροπή ιδρύθηκε το 1991 και η Νότια Αφρική επέστρεψε στους Αγώνες στους Θερινούς Ολυμπιακούς Αγώνες του 1992 (και στους Θερινούς Παραολυμπιακούς Αγώνες του 1992). Η Νότια Αφρική συμμετείχε επίσης στους Χειμερινούς Ολυμπιακούς Αγώνες το 1960 και από το 1994.