Najstaršie osídlenie hradného kopca pochádza z praveku, kedy sa tu usadil ľud Lužickej kultúry. V stredoveku tu vznikol hrad, ktorý sa nám zachoval dodnes.
Stavitelia dômyselne situovali hrad na mieste, ktoré riečka Litava obteká z troch strán. Hrad priamo kontroloval cestné spojenie, ktoré prechádzalo k hradu zo Šiah, pri Bzovíku sa rozdvojovalo a ďalej pokračovalo do Krupiny, a do Banskej Štiavnice.

O jeho vzniku história mlčí, preto sme odkázaní len na dohady a dedukcie. V najstarších dejinách Hontu vystupuje do popredia šľachtický rod Huntovcov. Pred utvorením uhorského štátu na tomto území existovalo miestne kniežatstvo, na čele ktorého stál azda už od r. 995 veľmož Hunt. Ako verné knieža bol Hunt spojencom kráľa Štefana I. v dynastických bojoch, ktoré vyústili do vzniku Uhorska a pretvorenia Huntovho kniežatstva na kráľovskú župu – Hontiansky komitát. Z roku 1135 pochádza listina, potvrdzujúca založenie kláštora na Bzovíku. Zakladateľmi kláštora boli Huntovci, ktorí ho obdarovali časťou zo svojich rozsiahlych majetkov.
Kláštor postavili v relatívnej blízkosti hradu, aby bol pod jeho ochranou. Nebol to priamo hrad Čabraď, ale jeho predchodca, v starých listinách spomínaný pod názvom Hrádok ( Haradnuk, Haradnok), prípadne Litava – podľa riečky, čo tečie pod ním. Tento hrad stál o pár kilometrov hore prúdom riečky, než teraz stojí hrad Čabraď.

Je paradoxom histórie, že sa doteraz nevedelo o existencii tohto hradu a všetky doterajšie spracovania histórie Čabrade spájali dejiny dvoch hradov. Iste tomu napomohol fakt, že sa počas obdobia, kedy existovali spolu, nazývali rovnako – Litava. Vďaka indícii našich kolegov historikov z Maďarska sa nám podarilo cez Veľkú noc v roku 2005 lokalizovať miesto staršieho hradu a potvrdiť jeho existenciu. Podľa nálezov ho zatiaľ môžeme datovať do 12. – 14. stor. s krátkym využitím v 15. stor.