Ο Sarrazin γεννήθηκε στη Gera της Γερμανίας. Ο πατέρας του ήταν γιατρός και η μητέρα του κόρη γαιοκτήμονα της Δυτικής Πρωσίας. Η πατρική του οικογένεια, μια γαλλική οικογένεια Ουγενότων, κατάγεται από τη Βουργουνδία. Η γιαγιά του ήταν αγγλοϊταλίδα. Ο ίδιος έχει εξηγήσει ότι το όνομά του σημαίνει Σαρακηνός (δηλαδή μουσουλμάνος) και είναι συνηθισμένο στη Νότια Γαλλία. Προέρχεται από τους Άραβες πειρατές που αποκαλούνταν "Σαρακηνοί" κατά τον Μεσαίωνα. Η μητέρα του έχει πολωνική καταγωγή. Ο ίδιος έχει αναφερθεί στον εαυτό του ως "ένα ευρωπαϊκό μπάσταρδο".
Μεγάλωσε στο Recklinghausen. Σε ηλικία επτά ετών πήγε σε ορφανοτροφείο στη Βαυαρία. Αποφοίτησε από το τοπικό γυμνάσιο και στη συνέχεια υπηρέτησε στο στρατό από το 1967 έως το 1971. Στη συνέχεια, σπούδασε Οικονομικά στο Πανεπιστήμιο της Βόννης, από όπου πήρε το διδακτορικό του. Από τον Νοέμβριο του 1973 έως τον Δεκέμβριο του 1974 εργάστηκε για το Ίδρυμα Friedrich Ebert και δραστηριοποιήθηκε στο SPD.
Το 1975 ο Sarrazin άρχισε να εργάζεται στο Ομοσπονδιακό Υπουργείο Οικονομικών. Μέχρι το 1981 υπηρέτησε ως επικεφαλής μονάδας στο Υπουργείο Εργασίας και Κοινωνικών Υποθέσεων. Το 1981 επέστρεψε στο Ομοσπονδιακό Υπουργείο Οικονομικών. Τον Οκτώβριο του 1981 άρχισε να εργάζεται ως επικεφαλής γραφείου και υπήρξε στενός συνεργάτης του ομοσπονδιακού υπουργού Οικονομικών Hans Matthöfer και του διαδόχου του Manfred Lahnstein. Ακόμη και μετά το τέλος του σοσιαλιστικού-φιλελεύθερου συνασπισμού τον Οκτώβριο του 1982, ο Sarrazin παρέμεινε στο Υπουργείο Οικονομικών. Εκεί διετέλεσε διευθυντής διαφόρων μονάδων, μεταξύ των οποίων (από το 1989 έως το 1990) η "Innerdeutsche Beziehungen", η οποία προετοίμαζε τη γερμανική νομισματική, οικονομική και κοινωνική ένωση. Κατά τη διάρκεια της θητείας του ως επικεφαλής του Ομοσπονδιακού Υπουργείου Οικονομικών, ήταν εν μέρει υπεύθυνος για τους γερμανικούς σιδηροδρόμους.
Από το 1990 έως το 1991, ο Sarrazin εργάστηκε για την Treuhand. Στη συνέχεια, μέχρι το 1997 ήταν υφυπουργός στο Υπουργείο Οικονομικών της Ρηνανίας-Παλατινάτου.
Ο Sarrazin είναι παντρεμένος με την Ursula Sarrazin (το γένος Breit) και έχει δύο γιους.
