Chillon fût le théâtre de bien des horreurs et de tragédies anonymes : prisonniers jetés au lac, tortures de sorciers et de sorcières, massacres de juifs...
C'est pourtant le prieur de Saint-Victor, François Bonivard, qui deviendra l'image romantique par excellence du chantre de la liberté de pensée, par la force des vers d'un barde magnifique ; Byron parti mourir, à Missolonghi, à la défense des Grecs massacrés par les Turcs.
François Bonivard décrit par Paul Budry comme curieux, un peu génial, cupide et brouillon, a passé six ans à Chillon, une captivité sans histoire dont il a laissé trois lignes considérées comme autant de mensonges. Ses deux premières années de captivité se sont déroulées dans une chambre voisine de celle du Gouverneur, qui le visitait souvent, avant sa relégation, attaché à son légendaire pilier, au cachot. Quatre années passées à philosopher et aux quelles lui-même n'attachera que peu d'importance. Il se laissera même aller à dire avoir quitté sa prison à regret délivré par les Bernois.