Το "Yellow" γράφτηκε σε ένα στούντιο της Rockfield στην Ουαλία. Το στούντιο ονομάζεται Quadrangle. Εκεί ξεκίνησαν οι Coldplay να δουλεύουν πάνω στο πρώτο τους άλμπουμ, το Parachutes. Ένα βράδυ αφού τελείωσαν την ηχογράφηση του "Shiver", του lead single του άλμπουμ, το συγκρότημα έκανε ένα διάλειμμα και βγήκε από το στούντιο. Έξω, υπήρχαν λίγα φώτα αναμμένα και τα αστέρια στον ουρανό ήταν ορατά και "απλά καταπληκτικά", σύμφωνα με τον συμπαραγωγό του τραγουδιού, Ken Nelson. Είπε στο συγκρότημα να κοιτάξουν τα αστέρια. Η μπάντα κοίταξε τα αστέρια και ένιωσε γενικά εμπνευσμένη. Η βασική μελωδία του τραγουδιού ήρθε στο μυαλό του Chris Martin, του τραγουδιστή του συγκροτήματος. Η μελωδία ήταν ένα μοτίβο συγχορδιών. Στην αρχή, ο Martin δεν το πήρε στα σοβαρά "καθώς μετέφερε τη μελωδία στην υπόλοιπη μπάντα με τη χειρότερη φωνή μίμησης του Neil Young". Ο Martin έχει πει: "Το τραγούδι είχε τη λέξη 'stars' και αυτή φαινόταν σαν μια λέξη που θα έπρεπε να τραγουδήσεις με τη φωνή του Neil Young". Η μελωδία "ξεκινούσε πολύ πιο αργά" σύμφωνα με τον Will Champion, τον ντράμερ του συγκροτήματος, και ακουγόταν σαν τραγούδι του Neil Young. Λίγο αργότερα, παρόλο που δεν πήρε το τραγούδι στα σοβαρά, η ιδέα του Martin λειτούργησε όταν είχε αναπτύξει το τέμπο του στίχου. Όταν ο Jonny Buckland, ο κιθαρίστας του συγκροτήματος, άρχισε να το παίζει και να το συμπληρώνει με τις δικές του ιδέες, είχαν δημιουργήσει το riff, "και κατά κάποιο τρόπο έγινε λίγο πιο βαρύ".
Κατά τη σύνθεση των στίχων του τραγουδιού, ωστόσο, ο Martin δεν μπορούσε να βρει τις κατάλληλες λέξεις. Σκεφτόταν μια συγκεκριμένη λέξη που θα ταίριαζε στην κεντρική ιδέα και το θέμα του τραγουδιού. Σκέφτηκε ότι αυτή η λέξη που έλειπε ήταν μια λέξη-κλειδί στους στίχους. Κοίταξε γύρω του στο στούντιο και βρήκε τον τηλεφωνικό κατάλογο Κίτρινοι Σελίδες. Ο Martin αργότερα ονόμασε το τραγούδι "Yellow" ως αναφορά στον κατάλογο. Αλλά σύμφωνα με τον ίδιο, "σε ένα εναλλακτικό σύμπαν, αυτό το τραγούδι θα μπορούσε να ονομάζεται 'Playboy'". Οι στίχοι προχώρησαν από εκεί και πέρα με τη συνεργασία του συγκροτήματος. Ο μπασίστας του συγκροτήματος Guy Berryman σκέφτηκε τον εναρκτήριο στίχο "Look at the stars". Εκείνο το βράδυ, έχοντας συνθέσει γρήγορα το τραγούδι, το συγκρότημα το ηχογράφησε.