Το έτος 1086, στο Hartley ζούσαν 15 οικογένειες και 3 δούλοι. Πριν από τον Μαύρο Θάνατο (1348) ζούσαν εδώ περίπου 150 άτομα. 53 άτομα πλήρωσαν φόρους το 1377, πράγμα που σημαίνει ότι τότε ζούσαν εδώ περίπου 85 άτομα. Το 1392 ένα έγγραφο μας λέει ότι υπήρχε ένα αρχηγικό σπίτι, όπου ζούσε ένας διευθυντής. Αυτός καλλιεργούσε τη γη για λογαριασμό του ιδιοκτήτη. Αυτή η γη ονομαζόταν Hartley Court. Άλλα πρόσωπα που είχαν γη στο Hartley, έπρεπε να πηγαίνουν στο δικαστήριο του ιδιοκτήτη και να κάνουν κάποια άλλη εργασία γι' αυτόν. Το 1554 έγινε μια μάχη στο Hartley Wood, μεταξύ υποστηρικτών και αντιπάλων της βασίλισσας Μαρίας Α΄ της Αγγλίας. Οι υποστηρικτές της κέρδισαν. Το Χάρτλεϊ το 1650 έμοιαζε με το μέρος το 1850, επειδή σχεδόν όλα τα κτίρια υπήρχαν τότε. Το 1770 ο συγγραφέας Edward Hasted είπε ότι δεν πηγαίνουν πολλά άτομα στο Hartley.
Ορισμένα κτίρια κατασκευάστηκαν τη δεκαετία του 1700 (όπως το Hartley House και το Yew Cottage). Το 1841 στο Hartley ζούσαν 224 άτομα. Σχεδόν όλοι εργάζονταν στα αγροκτήματα. Υπήρχαν επίσης ένας κατασκευαστής τροχών, ένας μεταλλουργός και πωλητές ποτών.
Η ανάπτυξη του Hartley ξεκίνησε μετά την άφιξη του σιδηροδρόμου στο Longfield το 1876 και η παροχή νερού μέσω σωλήνων το 1902. Στη συνέχεια δύο εταιρείες - Payne, Trapps and Co Ltd, και Small Owners Limited πούλησαν γη για σπίτια και μικρά αγροκτήματα. Μετά το 1945 υπήρχαν πολλά νέα σπίτια και δρόμοι.
