Le fief de Barnay est très ancien, puisque l'on sait qu'en 1066, la veuve d'un de ses seigneurs, Richilde, devient moniale au prieuré clunisien de Marcigny. Le château actuel est construit, au XVème siècle par ses propriétaires d'alors : les seigneurs de Jarnosse, au sud de Charlieu. On retrouve, un peu comme à Grandvaux (Varennes-sous-Dun), un gros donjon, flanqué de tours rondes (dont une tour d'escalier). Le mur crénelé, avec sa porte néo-gothique en accolade, fermant la cour intérieur, est du XIXème siècle.
