En 539 av. J.-C., Cyrus le Grand, roi de Perse, s'empare de Babylone. Le livre d'Esdras lui attribue un édit autorisant les Judéens à rentrer à Jérusalem et à rebâtir le Temple.
Le cylindre de Cyrus
Découvert à Babylone en 1879 et conservé au British Museum, ce cylindre d'argile rédigé en akkadien proclame la politique du roi perse : Cyrus s'y présente comme l'élu du dieu Mardouk et affirme avoir rendu à leurs sanctuaires les statues divines et rapatrié les populations déplacées. Il ne mentionne ni les Judéens ni Jérusalem, mais il illustre la politique de tolérance religieuse dans laquelle s'inscrit le retour d'exil décrit en Esdras 1:1-4.
La province de Yehoud
Les exilés reviennent par vagues : sous Sheshbatsar et Zorobabel, puis avec Esdras et Néhémie au Ve siècle. Le Temple, reconstruit plus modestement à l'appel des prophètes Aggée et Zacharie, est achevé vers 516-515 av. J.-C. (Esdras 6:15). Les fouilles montrent une réoccupation progressive et limitée de Jérusalem à l'époque perse : la ville se réduit alors pour l'essentiel à la colline de la Cité de David. Des empreintes de sceaux et de petites monnaies d'argent portant l'inscription araméenne « Yehoud » témoignent de la renaissance de la province sous administration perse, dont un centre administratif se trouvait à Ramat Rahel, au sud de Jérusalem.
Néhémie, échanson du roi Artaxerxès Ier, obtient vers 445 av. J.-C. l'autorisation de relever les murailles de Jérusalem. Eilat Mazar a proposé d'identifier une portion de sa muraille dans la Cité de David ; d'autres archéologues datent ces vestiges de l'époque hasmonéenne. Loin de là, les papyrus araméens d'Éléphantine, en Égypte, éclairent aussi l'époque : cette colonie militaire judéenne écrivit vers 407 av. J.-C. à Bagohi, gouverneur de Juda, pour obtenir la reconstruction de son temple de Yahu, et une lettre de 419 av. J.-C. y traite de la fête des Pains azymes.
La période s'achève en 332 av. J.-C., lorsque Alexandre le Grand conquiert la région, ouvrant l'époque hellénistique et la suite de l'histoire du Second Temple. Pour les siècles qui précèdent l'exil, voir les Juges et les Rois.