Elle débute au fort de Ham dans la Somme où, en 1841, est emprisonné après une tentative manquée de coup d’état, le prince Louis Napoléon Bonaparte, futur Napoléon III ( 1808/ 1873). Il y rencontre Alexandrine Vergot, 21 ans qui exerce la profession de lingère . Il entame avec elle une relation amoureuse et Alexandrine donne naissance à deux garçons : Alexandre Louis Eugène ( 1843) et Alexandre-Louis Ernest (1845). Ces deux enfants seront, plus tard, adoptés par un certain Pierre Bure. Tous deux reçoivent de leur père naturel le titre de Comte. Ainsi, le cadet devient-il Comte de Labenne, Labenne étant le nom d’une commune littorale des Landes où, à une époque où les bains de mer sont en vogue, Napoléon III possède des terres.
A l’été 1880, le comte de Labenne se rend à Paimpol pour affaires : il veut construire une sècherie de morue en collaboration avec un armateur paimpolais. Mais le Comte meurt à Paris en 1882 et ne connaitra jamais la sècherie ( Aujourd’hui celle-ci abrite le Musée de la Mer). Sa veuve s’installe à Paimpol et achète la villa en 1884 pour y vivre fastueusement . Elle achète également la chapelle de Lancerf . Hélas, son fils atteint de tuberculose meurt en décembre 1884 et la comtesse retourne à Paris en 1893 .
La bâtisse deviendra ensuite la gendarmerie jusqu’en 1984. Elle accueille aujourd’hui plusieurs associations dont l’AVF .
Les sépultures du Comte de Labenne et de son fils reposent toujours en la chapelle de Lancerf à Plourivo.
