Les seigneurs de Ramefort sont cités une première fois au XIIe siècle dans le cartulaire de l’Abbaye de Ligueux. vassaux des abbés de Brantôme, Pierre et Guillaume de Ramefort leur rendent officiellement hommage dans un acte de 1449.
A l’origine, la forteresse est composée d’une tour maîtresse romane, bâtie sur le rocher et accompagnée d’une tour de guet. le château est complété après la guerre de cent ans par un corps de logis à l’ouest, une grosse tour d’angle au nord-Est avec une chapelle au sous-sol, et une tour d’escalier octogonale.
Le châtelet d’entrée date aussi du XVe siècle, l’ancienne cour était fermée lorsque cet ouvrage d’entrée était relié au corps de logis par un mur de défense aujourd’hui détruit. aux XVe et XVIe siècles, le domaine de Ramefort s’étend sur la rive de la Dronne et possède des dépendances sur Bourdeilles, Brantôme et Condat.
Le fief passa aux Mourenne au XVIe siècle, aux Barriasson au siècle suivant, enfin aux Durand de Ramefort depuis le XVIIIesiècle. A la fin du XIXe siècle, Dubet exhausse la tour octogonale, la couvre d’ardoises comme le logis et rajoute un nouveau bâtiment.
Au milieu du XXe siècle, on dérestaure les réalisations entreprises par l’architecte. les anciennes écuries, qui reliaient le corps de logis au châtelet, sont remplacées en 1935 par d’autres bâtiments, les années 80 voient la surélévation du mur de la tour maîtresse.
Campé sur un plateau rocheux dominant de près de trente mètres la vallée de la Dronne, la position stratégique du château entre Crantôme et Bourdeilles, est évidente, le corps de logis percé de fenêtres à meneaux jouxte la tour maîtresse cantonnée d’une tourelle circulaire, le châtelet couronné de mâchicoulis, protège l’entrée du château du côté Nord , alors qu’une enceinte complétait l’à pic à et la douve sèche à l’Ouest.
Propriété privée, ne se visite pas, visible de l’extérieur.