L’église de Chastanier est un édifice du XIIe siècle de facture romane, dédié à saint Jacques le Majeur. Elle dépendait du monastère de Langogne et constituait une halte sur le chemin de Compostelle. Construite en grand appareil de pierres de granite, elle présente un clocher-mur, à deux baies. Le porche d’entrée se compose de plusieurs voussures en arc brisé ajouté à l’édifice au XVe siècle. À l’intérieur, sa nef est voûtée en berceau plein cintre et est divisée en trois travées. Son chœur possède un chevet plat et accueille un bel autel avec de notables ornements roses. La travée de chœur a été ajoutée au XVe siècle, en guise de remplacement à l’abside romane initiale dont des vestiges sont encore perceptibles. En effet, du XIIe siècle ne subsistent que deux colonnes engagées portant le premier doubleau et les murs au sud percés de fenêtres.
