Το Μπρουνέι, ως Μπρουνέι Νταρουσάλαμ, συμμετείχε για πρώτη φορά στους Ολυμπιακούς Αγώνες το 1988, με έναν μόνο αξιωματούχο αλλά χωρίς αθλητές. Το έθνος συμμετείχε στους θερινούς Ολυμπιακούς Αγώνες το 1996, το 2000 και το 2004. Κάθε φορά εκπροσωπήθηκε από έναν μόνο αθλητή. Το Μπρουνέι δεν έχει συμμετάσχει ποτέ στους Χειμερινούς Ολυμπιακούς Αγώνες. Δεν έχει κερδίσει ποτέ Ολυμπιακό μετάλλιο.
Από το 2010 το Μπρουνέι, μαζί με τη Σαουδική Αραβία και το Κατάρ, ήταν μία από τις τρεις χώρες που δεν είχαν στείλει ποτέ γυναίκα αθλήτρια στους Ολυμπιακούς Αγώνες. Η Διεθνής Ολυμπιακή Επιτροπή το 2010 ανακοίνωσε ότι θα "πιέσει" τις χώρες αυτές να επιτρέψουν τη συμμετοχή γυναικών.
Η Εθνική Ολυμπιακή Επιτροπή του Μπρουνέι ιδρύθηκε το 1984 και αναγνωρίστηκε από τη Διεθνή Ολυμπιακή Επιτροπή την ίδια χρονιά.