Cet ancien bourg castral a été créé au XIIe et enroule ses maisons en arcs concentriques autour de la colline qui porte la belle église du XIXe. De ce château des comtes d'Astarac, il ne subsiste plus qu'une tour qui sert aujourd'hui de clocher. S'il ne subsiste que les restes d'une tour, la cité a conservé des restes de remparts sur lesquels s'appuient aujourd'hui plusieurs maisons. Il existe encore la porte d'accès avec les traces du Pont-levis. C'est un site difficile d'accès, bien choisi pour éviter toute invasion.

Il faut remonter à 1140 pour trouver trace de la première mention du lieu : "castet naou de Barbarencs" que l'on traduit par nouveau château sur site barbare. Le château est construit par les coseigneurs Bernard I Comte d'Astarac et Guillaume Arnaud Desbarats à parts égales et possède trois tours crénelées reliées par de gros murs, deux surveillaient la vallée et celle qui reste, une tour de défense gardait l'Est, seule possibilité d'entrer dans le château.

Le village se construisit autour de son château à l'intérieur de ses remparts mais la famille Desbarats puis les comtes d'Astarac et plus tard les comtes d'Uzes l'abandonnèrent, les populations paysannes devenant maîtresse de leur destinée. Le château s'écroula faute d'entretien et n'émergea plus que cette tour reconvertie en clocher en perçant à sa base 2 portes en arc brisé et toujours entretenues.

C'est à partir de 1865 que l'église actuelle fut édifiée sur l'emplacement du château. L'ancienne église St-Nicolas sur la même place d'Uzes fut détruite mais la chapelle Notre-Dame de Pitié fut heureusement conservée.