Τα κανονικά κείμενα της Καινής Διαθήκης, καθώς και άλλες γραπτές πηγές από την πρώιμη εκκλησία, παρέχουν κάποιες πληροφορίες για τη ζωή του Αγίου Ιακώβου και το ρόλο του στην πρώιμη εκκλησία. Οι Συνοπτικοί αναφέρουν το όνομά του, αλλά τίποτε άλλο γι' αυτόν, ενώ το Ευαγγέλιο του Ιωάννη και τα πρώτα κεφάλαια των Πράξεων των Αποστόλων δεν αναφέρουν καν τον Ιάκωβο.
Οι Πράξεις των Αποστόλων, σε μεταγενέστερα κεφάλαια, παρέχουν αποδείξεις ότι ο Ιάκωβος ήταν σημαντική προσωπικότητα στη χριστιανική κοινότητα της Ιερουσαλήμ. Όταν ο Πέτρος, αφού γλίτωσε με θαυμαστό τρόπο από τη φυλακή, πρέπει να εγκαταλείψει την Ιερουσαλήμ, ζητά να ενημερωθεί ο Ιάκωβος (12:17). Όταν οι χριστιανοί της Αντιόχειας ανησυχούν για το αν οι εθνικοί χριστιανοί πρέπει να κάνουν περιτομή για να σωθούν, και στέλνουν τον Παύλο και τον Βαρνάβα να συμβουλευτούν την εκεί εκκλησία της Ιερουσαλήμ, ο Ιάκωβος παίζει εξέχοντα ρόλο στη διαμόρφωση της απόφασης του συμβουλίου (15:13 και εξής). Πράγματι, αφού ο Πέτρος και ο Παύλος έχουν εκθέσει τα επιχειρήματά τους, ο Ιάκωβος είναι αυτός που τελικά ανακοινώνει αυτό που αποκαλεί "απόφαση" -η αρχική σημασία είναι κοντά στο "η απόφασή μου"- και στη συνέχεια όλοι την αποδέχονται. Ο Ιάκωβος, με άλλα λόγια, παρουσιάζεται επικεφαλής της ομάδας της Ιερουσαλήμ, γεγονός που έρχεται σε αντίθεση με τους μεταγενέστερους ισχυρισμούς για την πρωτοκαθεδρία του Πέτρου εκεί. Και όταν ο Παύλος φτάνει στην Ιερουσαλήμ για να παραδώσει τα χρήματα που συγκέντρωσε για τους πιστούς εκεί, απευθύνεται στον Ιάκωβο, ο οποίος επιμένει να καθαριστεί τελετουργικά ο Παύλος στον ναό του Ηρώδη για να αποδείξει την πίστη του και να διαψεύσει τις φήμες ότι διδάσκει επανάσταση κατά της Τορά (21:18 και εξής) (κατηγορία για αντινομία).
Ο Παύλος περιγράφει περαιτέρω τον Ιάκωβο ως ένα από τα πρόσωπα στα οποία ο αναστημένος Χριστός έδειξε τον εαυτό του (Α΄ Κορινθίους 15:3-8)- στη συνέχεια, αργότερα στην Α΄ Κορινθίους, αναφέρει τον Ιάκωβο με τρόπο που υποδηλώνει ότι ο Ιάκωβος ήταν παντρεμένος (9:5)- και στη Γαλάτας, ο Παύλος απαριθμεί τον Ιάκωβο μαζί με τον Κηφά (γνωστότερο ως Πέτρο) και τον Ιωάννη, ως τους τρεις "πυλώνες" της Εκκλησίας, και οι οποίοι θα υπηρετήσουν τους "περιτμημένους" (γενικά τους Ιουδαίους και τους Ιουδαίους Προσελθόντες) στην Ιερουσαλήμ, ενώ ο Παύλος και οι συνεργάτες του θα υπηρετήσουν τους "μη περιτμημένους" (γενικά τους εθνικούς). (2:9, 2:12). Αυτοί οι όροι (περιτμημένοι/απεριτμημένοι) ερμηνεύονται γενικά ως Ιουδαίοι και Έλληνες, οι οποίοι ήταν οι επικρατέστεροι, ωστόσο πρόκειται για υπεραπλούστευση, καθώς στην επαρχία της Ιουδαίας του 1ου αιώνα υπήρχαν επίσης κάποιοι Ιουδαίοι που δεν περιτμήθηκαν πλέον, και κάποιοι Έλληνες (που ονομάζονταν Προσελύτεροι ή Ιουδαίοι) και άλλοι, όπως Αιγύπτιοι, Αιθίοπες και Άραβες που περιτμήθηκαν.
