​
La tour de garde du XIe siècle fut édifiée en 1063 par Ramire Ier d'Aragon, roi d’Aragon.
Durant la croisade des Albigeois, menée contre les cathares par Simon de Montfort, elle fit partie avec la seigneurie de Mirepoix de la donation que le roi de France, Philippe II Auguste, octroya à Guy Ier de Lévis en 1212, lieutenant du commandant des croisés Simon de Montfort décédé à Toulouse en 1218.
​
C'est le début de la dynastie de la maison parisienne noble des Lévis ( du nom de la commune d'Ile-de-France située entre Chevreuse et Montfort-l'Amaury ), Guy Ier de Lévis puis Guy III de Lévis deviennent tour à tour maîtres de la tour de garde d'où le nom du petit bourg de Lagarde créé un siècle plus tard.
​
Au début du XIVe siècle, François de Lévis-Mirepoix fit édifier un grand château de forme carrée sur un site rocheux. C’est à cette époque que les quatre tours monumentales furent bâties. Le château de Lagarde fut ainsi construit.
​
À la charnière des XVe et XVIe siècles, Jean V de Lévis-Mirepoix, propriétaire du château de Lagarde, est un personnage puissant et riche. Il est le sénéchal de Carcassonne, conseiller des rois successifs Charles VIII, Louis XII et François Ier, puis lieutenant général du roi pour le Languedoc. Il va transformer considérablement le château de ses ancêtres, remplaçant les vieux logis du Moyen Âge par des influences de la Renaissance tout en conservant la structure médiévale. Il fait aussi renforcer les défenses extérieures du château qui sera désormais capable de se défendre avec la nouvelle arme qu'est l'artillerie.
​
Jean V de Lévis fait construire le grand escalier à vis surmonté d'une coupole en étoile qui desservait les étages des logis. Il fait aménager une magnifique chapelle de style gothique flamboyant dont il ne reste aujourd'hui que des vestiges. Dans les courtines du vieux château médiéval, il fait percer de larges ouvertures sur l'extérieur, aptes à éclairer généreusement les pièces.
​
Point d'orgue à ces travaux considérables, il fait enserrer les anciennes murailles dans une seconde enceinte basse adaptée à l'artillerie et élevée à quelques mètres en avant des anciennes courtines dont elle suit fidèlement les contours.
Le vide entre les deux lignes de fortification est rempli de terre damée (formant ce qu'on appelait alors un rempart) et le dessus forme une large terrasse sur laquelle il était également possible d'installer des défenseurs ou de l'artillerie.
Cette enceinte remparée est flanquée aux quatre angles de tours rondes, basses également et renfermant des casemates voûtées destinées à abriter des canons. Les ouvertures de tir de ces casemates autorisaient également des tirs rasants sur le glacis (étendue plate ). Une cinquième tour, au milieu d'un des côtés, renferme la porte.
​
Dans la première moitié du XVIIe siècle, Louise de Roquelaure, veuve d’Alexandre de Lévis-Mirepoix, mort à la guerre en 1637 à Leucate, entreprend une nouvelle série de constructions et d’embellissements qui devaient transformer le château fort en un petit palais fastueux.
Elle fera ériger des grandes statues gréco-romaines en terre cuite de 4 mètres de haut, des terrasses, des jardins à la Française. Surtout grâce à la richesse de sa famille, son intelligence, sa détermination, son admiration pour les châteaux de la Loire, Louise en profite pour créer la galerie des Glaces, une glacière ( petite tour ronde ) et un étang à poissons pour la nourriture ( élément important chez les Lévis, qui ne mangeaient pas de viande, car ils étaient catholiques et l'Église le réglementait ).
Enfin, Louise de Roquelaure fait enlever l'artillerie retirant ainsi son aspect militaire. Tous ces éléments font de ce château baroque (XVIIe siècle) une merveille importante chez les Lévis et sa grandeur lui fera obtenir le surnom de "Petit Versailles des Pyrénées", un grand classique du Languedoc .Elle fit ériger la troisième enceinte en créant des terrasses qui servent de promenade.
​
Au XVIIIe siècle, le dernier seigneur de la famille Lévis-Mirepoix, François Gaston Lévis de Mirepoix décide d'émigrer en Italie au moment de la Révolution française. Auparavant, il sauve les archives du château permettant de connaître encore aujourd'hui les traces du magnifique château. Les documents sont conservés aux Archives Départementales de la ville de Foix comme bien national privé.
​
Sous la Révolution française, le château sera pillé. Sa démolition est demandée par arrêté du 10 floréal An II (29 avril 1794) et il sera détruit et laissé à l'abandon. L’ensemble est d’abord vendu à un carrier avant de servir successivement d’entrepôt d’armes ou de fourrage, d’écuries ou de poudrière. Il redevient en 1805 la propriété de la famille Lévis-Léran, est racheté par le sénateur-maire de Mirepoix Vigarosy puis revient de nouveau aux Lévis jusqu’en 1983.
Son classement en tant que monument historique en 1889 n’empêcha pas sa désagrégation jusqu’à la fin du XXe siècle.
En 1980, un pan entier de la tour sud-ouest fut détruit par des pilleurs pour dérober les pierres des fenêtres et les cheminées monumentales.
​