A la fin du XIXe siècle, le musée bénéficie de dépôts d'Etat qui viennent enrichir les collections de peintures et d'estampes, notamment des oeuvres de Raymond Lafage, dessinateur du XVIIe siècle, originaire de Lisle-sur-Tarn.

Le Musée porte son nom, c’est un célèbre dessinateur graveur du XVIIè siècle, né à Lisle-sur-Tarn en 1656, mort à Lyon en 1684 à l’âge de 28 ans.
La légende dit qu’il serait mort d’une chute d’âne en entrant dans une auberge ; sa tête aurait violemment heurté le linteau de celle-ci et aurait entraîné sa mort. C’était un personnage, dit-on, qui aimait bien boire et de ce fait n’a pas bien évalué la hauteur de l’entrée de l’auberge.

Il est l’élève de Jean-Pierre Rivalz à Toulouse. De Toulouse où il a assez vite fait le tour, ses talents et ses ambitions l’attirent à Paris, foyer artistique en pleine expansion depuis la création de l’académie royale en 1648. Raymond Lafage rentre à l’Académie Royale où il se révèle un élève brillant et où ses résultats vont lui permettre d’obtenir une pension du roi pour aller à Rome. Rome où il remporte le 1er prix de l’Académie St Luc pour son dessin « Moïse sauvé des eaux ».

Puis il rentre en France, mais son refus de travailler la peinture limite ses études et son succès.
Quelques grands collectionneurs deviennent de fidèles acheteurs et de réguliers commanditaires. Sa réputation se refait vite et augmente d’autant plus, que Lafage rencontre celui qui restera son ami : le graveur flamand Jean Vander Bruggen. Ce dernier admirant l’art de Lafage va tout de suite comprendre l’intérêt qu’ils auraient à travailler ensemble. Son génie de dessinateur et surtout sa rapidité de trait, forcent l’admiration de tous ; chez les marchands ou dans les cabarets Bruggen exhibe Lafage comme un être hors du commun et prépare ainsi la future diffusion de ses gravures en sensibilisant déjà son public.

En 1682, il revient à Toulouse, où il est accueilli par Jean-Pierre Rivalz avec lequel il travaille au projet de réaménagement de l’hôtel de ville. Les capitouls lui demandent des esquisses pour 10 tableaux sur le thème de l’Histoire des Toulousains. Il devient le maître du jeune Antoine Rivalz (fils de Jean-Pierre).
Ses œuvres présentent des sujets mythologiques avec le mythe antique de Bacchus où il évoque les orgies et les festins au cours desquels les corps se libèrent.

Scènes religieuses (épisodes de l’ancien Testament)- Mythologiques (Bacchanales)- de Batailles.
Influence du Baroque, ce sont ses recherches sur les corps en mouvement, ses effets de masse et ses véritables architectures de chair et de muscles.
Ses dessins servent au XIXè de thème à des faïenciers toulousains qui en décoreront des séries d’assiettes.

A l’angle de la Place Paul Saissac, une plaque commémorative indique sa maison natale.