Le musée est installé dans l'immeuble médiéval des Ormeaux (classé Monument Historique) qui est composé d'un édifice militaire, la Porte des Ormeaux (XIIIème modifié au XIVème) et de l'édifice attenant, une maison d'habitation avec ses 5 ogives gothiques du XIVème, dite maison Fabre.
L'architecture de ces deux édifices constitue une partie de l'intérêt de la visite du musée avec notamment les modifications apportées avec le temps, véritable révélateur de la vie à Cordes.
On y distingue les différents matériaux de construction des murs, l'évolution dans l'usage du bâtiment, un système de tirage d'eau, une porte à linteau en accolade inversé, des fenêtres à coussiège, des restes de verrouillage des portes....

La Porte des Ormeaux
Médiévale datant de la fondation de Cordes transformée au XIVème s., elle est composée de la porte elle-même avec son système de fermeture (qui n'existe plus) et ses deux tours servant aussi de flanquement.
C'est le seul édifice militaire médiéval ouvert au public à Cordes.

La maison Fabre
Attenante à la Porte des Ormeaux, elle s'appuie sur les courtines (remparts) de la 1ère enceinte et a été batie fin XIIIème ou début XIVème s.
La façade avant est caractéristique des maisons cordaises avec ses 5 ogives gothiques. On peut retrouver sur cette façade les périodes de l'histoire de la ville et suivre les modes ou contraintes architecturales.
La façade arrière est la courtine du XIIIème siècle. Elle a été percée de fenêtres et de porte, deux maisons s'appuient encore dessus.
Un ensemble de 3 fausses tours (courtine festonnée) marque encore plus le coté militaire de l'immeuble.