Son nom provient du mot "châtaignier" en occitan, arbre dominant du secteur des Cévennes et du Mont Lozère. La manse de Castanet remonte au XIIIe siècle, mais est peut-être plus ancienne. À cette époque c'est le seigneur d'Hérail, co-seigneur parier de la Garde-Guérin et vassal de l'évêque de Mende, qui possède la manse. Jusqu'en 1550, la manse va être reçue en héritage, en plus du prestigieux droit d'être parier de la Garde-Guérin. C'est Robert Brun qui est possesseur de la manse à partir de 1550. Il va la vendre le 14 décembre 1571 à Jacques Isarn, issu d'une famille bourgeoise de Villefort. Chaque année, le Château de Castanet propose un programme d’expositions estivales ouvert au public. La saison 2026 est actuellement en préparation.