Hrad Sokolí kameň sa prvý krát spomína v roku 1243 a už v roku 1399 bol zaniknutý. Dôvod jeho zániku nepoznáme. V staršej literatúre je však niekde uvádzaný ako Zbojnícky hrad alebo Zbojnícky hrádok. Možno sa domnievať, že niekdajšie zrúcaniny i jaskyňa slúžili Zbojníkom ako úkryt. Logiku to má aj v tom, že Sokolia skala stojí neďaleko cesty zo Silickej Jablonice na Silicu. V časoch, keď ešte cesta cez horský priechod Soroška nejestvovala, prechádzala hlavná obchodná spojnica medzi Turnianskou a Rožňavskou kotlinou práve tadiaľ.