Στις 4 Μαρτίου 2004, ο Κέλερ παραιτήθηκε από τις θέσεις του, επειδή προτάθηκε ως υποψήφιος πρόεδρος. Ο Köhler νίκησε την Gesine Schwan στην πρώτη ψηφοφορία με 604 ψήφους έναντι 580. 20 ψήφοι δόθηκαν για δευτερεύοντες υποψηφίους, ενώ ένας ψηφοφόρος απουσίαζε λόγω καρδιακής προσβολής. Ο Köhler διαδέχθηκε τον Johannes Rau στην προεδρία την 1η Ιουλίου 2004, για πενταετή θητεία. Η προεδρία της Γερμανίας είναι σε μεγάλο βαθμό τελετουργικό αξίωμα. Ωστόσο, διαθέτει επίσης σημαντικό ηθικό κύρος. Από το 2004 έως τις αρχές του 2006, το Παλάτι Charlottenburg ήταν η έδρα του Προέδρου της Γερμανίας. Αυτό συνέβη επειδή το Schloss Bellevue ανακαινίστηκε.
Κατά την εκλογή του, ο Köhler δήλωσε ότι "ο πατριωτισμός και ο κοσμοπολιτισμός δεν είναι αντίθετα". Παρουσιάζοντας τα οράματά του για τη Γερμανία, ο Köhler είπε επίσης ότι "η Γερμανία πρέπει να γίνει μια χώρα των ιδεών".
Τον Ιούλιο του 2005 ανέστειλε τη λειτουργία της Bundestag κατόπιν αιτήματος του καγκελάριου Gerhard Schröder. Ο Σρέντερ είχε χάσει μια πρόταση εμπιστοσύνης στην Μπούντεσταγκ. Αυτό οδήγησε σε πρόωρες εκλογές για την Bundestag τον Σεπτέμβριο του 2005.
Τον Οκτώβριο του 2006, έλαβε μια μακρόπνοη απόφαση ασκώντας βέτο σε ένα νομοσχέδιο. Το νομοσχέδιο αυτό θα μετέφερε τη γερμανική υπηρεσία αεροπορικής ασφάλειας Deutsche Flugsicherung σε ιδιωτική ιδιοκτησία. Η Μπούντεσταγκ ψήφισε τη νομοθεσία αυτή, αλλά ως πρόεδρος, ο Κέλερ είχε το δικαίωμα να μην την υπογράψει σε νόμο, εάν, κατά τη γνώμη του, αντίκειται στο Σύνταγμα. Τον Δεκέμβριο του 2006 δεν υπέγραψε τον νόμο για την ενημέρωση των καταναλωτών, επειδή το σύνταγμα δεν επιτρέπει στην ομοσπονδιακή κυβέρνηση να δίνει οδηγίες στις δημοτικές αρχές. Αυτό μπορεί να γίνει μόνο από τα γερμανικά κρατίδια. Είχαν προηγηθεί μόνο έξι περιπτώσεις κατά τις οποίες ο πρόεδρος της Γερμανίας είχε επιλέξει να απορρίψει νομοσχέδια. Στις περισσότερες περιπτώσεις επρόκειτο για λιγότερο σημαντικές νομοθεσίες. Τα βέτο του ήταν τα πρώτα αξιοσημείωτα παραδείγματα στην πρόσφατη γερμανική ιστορία.
Στη χριστουγεννιάτικη ομιλία του προς το έθνος το 2007, ο Köhler προέτρεψε την κυβέρνηση να προχωρήσει ταχύτερα στις μεταρρυθμίσεις. Επίσης, άσκησε κριτική στην καθιέρωση του κατώτατου μισθού στον ταχυδρομικό τομέα, δηλώνοντας ότι "ένας κατώτατος μισθός που δεν μπορεί να καταβληθεί από ανταγωνιστικούς εργοδότες καταστρέφει θέσεις εργασίας".
Στις 22 Μαΐου 2008, ο Köhler δήλωσε ότι θέλει να είναι υποψήφιος για δεύτερη θητεία ως πρόεδρος. Στις 23 Μαΐου 2009, επανεξελέγη από την Ομοσπονδιακή Συνέλευση και ορκίστηκε για δεύτερη θητεία την 1η Ιουλίου 2009.
Τον Νοέμβριο του 2009, ο Köhler αρνήθηκε να υπογράψει τον νόμο "Zugangserschwerungsgesetz" (νόμος για την παρεμπόδιση της πρόσβασης) χωρίς περαιτέρω πληροφορίες. Ο νόμος, ο οποίος αποσκοπεί στο να καταστήσει δυσκολότερη την πρόσβαση σε ιστότοπους στον Παγκόσμιο Ιστό με παιδική πορνογραφία, θεωρείται από πολλούς νομικούς εμπειρογνώμονες αντισυνταγματικός.
Παραίτηση
Στις 31 Μαΐου 2010, ο Köhler ανακοίνωσε την παραίτησή του από τη θέση του Προέδρου της Γερμανίας. Αυτό συνέβη μετά την κριτική που άσκησαν Γερμανοί πολιτικοί στα σχόλια του Κέλερ σχετικά με τις στρατιωτικές αποστολές στο εξωτερικό:
Δέχθηκε κριτική για τη δήλωσή του ότι οι στρατιωτικές αποστολές της Γερμανίας στο εξωτερικό εξυπηρετούσαν επίσης τη διασφάλιση του εμπορίου. Στη συνέχεια δήλωσε ότι τα σχόλιά του αφορούσαν την πειρατεία στα ανοικτά των ακτών της Σομαλίας. Ο Κέλερ δήλωσε ότι δεν έχουν βάση οι κατηγορίες ότι στη συνέντευξη υπερέβη τον επίσημο ρόλο του ευνοώντας μια αντισυνταγματική θέση. Αφού δεν έλαβε καμία υποστήριξη στη διαμάχη, ο Köhler παραιτήθηκε στις 31 Μαΐου 2010. Σε δήλωσή του ανέφερε: "Δηλώνω την παραίτησή μου από το αξίωμα του Προέδρου, με άμεση ισχύ". Η παραίτηση θεωρήθηκε "έκπληξη". Τις επόμενες ημέρες επικρίθηκε ότι δεν ήταν σε θέση να διαχειριστεί την κριτική, ενώ ήταν και ο ίδιος αυστηρός κριτής. Η πρωτοφανής πράξη της άμεσης παραίτησής του θεωρήθηκε επίσης ότι έδειχνε έλλειψη σεβασμού προς τη θέση του.
Όπως προβλέπεται στο γερμανικό σύνταγμα, τις αρμοδιότητες του κενωθέντος αξιώματος ασκούσε ο σημερινός πρόεδρος του Bundesrat, Jens Böhrnsen, μέχρι την εκλογή του Christian Wulff στις 30 Ιουνίου 2010.