Passy Madonna

Édifié sur un plan d'environ 50 m de côté, flanqué aux angles de quatre tours rondes, le château construit à la fin du XIVème siècle par Jean de Chevenon, alors conseiller de Charles VI de France, était pourvu d'un donjon de 25 m de hauteur qui dominait la voûte d'entrée. Le château fut probablement construit par le même architecte que celui de Chevenon dans la Nièvre. Son architecture est inspirée du château de Vincennes et ses tours imposantes donnent leur nom au village voisin.

Pendant la guerre de Cent Ans, à partir de 1422, il est occupé par le capitaine Perrinet-Gressart qui tint tête à Jeanne d'Arc lors du siège de La Charité-sur-Loire en 1429.
Très endommagé par les guerres de religion, le château devient en 1782, la propriété du marquis de Vergennes, homme politique et diplomate.
Le corps de logis et les murs d'enceinte furent abattus lors des guerres de religion, puis le colombier, une partie des tours et des murailles le furent par les propriétaires successifs pour en tirer des pierres afin de réaliser d'autres constructions.
Des quatre tours d'angle, seule reste la tour sud-est avec des murs d'un mètre soixante dix d'épaisseur dont la base comporte une pièce voûtée. Elle forme un angle avec le corps de logis, dans lequel se trouvent les vestiges d'une tourelle en surplomb.