Château médiéval édifié par Renaud de Forez, comprend un donjon cylindrique, une tour semi-circulaire et un corps de logis central rectangulaire. A l'intérieur : mosaïques gallo- romaines, petit musée archéologique, salle d'apparat, prison, hourd.

Château des Tours (XIIIe siècle). Petit musée archéologique. Construit en moellons, calcaire du Pays. Le château comprend un donjon cylindrique (1213) au sud, une tour semi-circulaire au nord (1217-1218) ayant conservé sa toiture du XIIIe siècle et un corps de logis central rectangulaire (1218). Escalier en vis du XVe siècle.
L'assemblage complexe de pièces de bois de chêne, servant à la défense du château, a été conservé. Ce vestige est d'un intérêt exceptionnel, étant certainement le plus ancien de France (datation par dendrochronologie).
Une mosaïque fin IIe siècle classée "Monument Historique" découverte en 1843 sur le site de la Grange du Bief, est exposée au Château. Cette mosaïque est incomplète (1/8) (71,10m X 3,20m) devait mesurer 16m X 11m.
Y est conservé, également, un fragment de Borne Milliaire de Claude, découvert dans un chemin vicinal. Cette borne, datée de 43 après J.C., confirme que Anse était une étape fortifiée sur la grande voie romaine partant de Lyon et se dirigeant vers le Nord.