Le musée porte le nom du Président-fondateur de la société des Amis de Villefranche et du Bas-Rouergue fondée en 1913. Au fil du temps, l’association a disposé de nombreuses collections centrées sur l’histoire locale. Un premier musée voit le jour. A partir de 1963, la Commune s’associe au projet pour créer un musée de plus grande envergure. Depuis 2002, le musée bénéficie du label Musée de France.

Le musée rassemble des collections permanentes très variées : minéralogie, préhistoire, archéologie gallo-romaine, art baroque et mobilier de la chapelle des pénitents noirs de la ville, dermatologie et médecine au XIXe siècle, arts et traditions populaires. Une collection d’arts premiers d’Océanie complète les collections locales. La salle d’archéologie a récemment fait l’objet de nouveaux aménagements.