Le château fût construit en plusieurs partis. Le donjon a été édifier entre 1120 et 1160, d'une hauteur d'environ 40 mètres. Le donjon surplombe Rochemaure a plus de 120 mètres.   Le château fut une demeure seigneuriale jusqu'en 1440, puis résidence des gouverneurs de 1441 à 1630.   La toiture entrainant d'énormes frais d'entretien, le prince Rohan le vendit vers 1730.