Du château du XIème siècle, il ne reste pas grand-chose. Vers 1650, un grand incendie mis fin à son histoire. En ces lieux, vécu notamment Amédée de Clermont devenu Saint Amédée. Ferdinand Cheval lui rendra hommage dans son Palais avec l'une de ses premières constructions.