«Sire il serait plus facile de saisir la Lune avec les dents que de tenter en cet endroit pareille besogne.»

C'est en ces termes que Vauban exprime au roi Louis XIV, son sentiment concernant le projet de construction du Fort. L'arsenal de Rochefort, parmi les plus prestigieux du royaume, se doit d'être protégé. L'édification du bâtiment sur le banc de sable « Longe de Boyard » permettrait une protection contre les tirs de canons et les Anglais. Mais le banc s'avère impropre à la construction. Le projet est abandonné une première fois. En 1801, Napoléon remet le projet au goût du jour. Une base rocheuse permettra la construction de la forteresse. En raison du fort courant les travaux ne peuvent s'effectuer que quelques heures par jour, à marée basse et pendant la belle saison. De plus les roches sensées asseoir le bâtiment s'enfoncent sous leur poid. En 1809, le projet «tombe à l'eau» une nouvelle fois. Sous Louis-Philippe, le projet reprend. Au même moment, les animosités franco-anglaises reprennent. On remplace les rochers par des caissons de chaux. En 1848, le socle est enfin achevé. C'est alors que démarre la construction du Fort à proprement parler. Elle durera 10 ans. Il peut recevoir 250 hommes pendant deux mois, ainsi qu'une large quantité d'armes. Mais désormais les Anglais et les Français ne sont plus en guerre et la portée des canons a augmenté. Fort Boyard ne servira finalement pas de protection militaire. Il est la cible de pillards et subit fortement les tempêtes. Sous la Commune, à la fin du Second Empire, les dissidents au régime y sont emprisonnés. En 1913, l'armée le vend et lors de la Seconde Guerre Mondiale les Allemands en font leur cible d'entraînement. Par la suite il sera vendu, revendu, jusqu'en 1979. Le Conseil Général de Charente-Maritime l'acquiert pour le réhabiliter. Belle reconversion pour le célèbre sémaphore qui connaît enfin la gloire. Loin des feux militaires, ce sont les feux de la rampe qui le mettent en lumière. Il est désormais la star du jeu télévisé Fort Boyard.

Sur la pointe opposée à celui de la Rade, côte Est, le Fort Liédot est l'un des joyaux militaires de l'île. Voulu par Napoléon en 1808, il se devait d'être « indestructible et imprenable ». Le Fort de la Sommité, car érigé sur la partie la plus élevée de l'île, pris finalement le nom de Liédot en 1812, avant mêm que ne soit achevée sa construction (1834), en hommage au colonel du Génie, mort lors de la campagne de Russie. De forme carrée, renforcé de 4 bastions, sa cour intérieure était prévue pour pouvoir accueillir et protéger la population de l'île dans sa totalité, soit 600 personnes environ. Il sera finalement utilisé comme prison à compter de 1854 et jusqu'en 1961. Ahmed Ben Bella, qui devint par la suite le premier président de la République d'Algérie, y a été détenu prisonnier. Le fort est désormais propriété du Conservatoire du Littoral et des Rivages Lacustres. Il est classé Monument Historique.