Hrad prestavali koncom 14. storočí a už vtedy pozostával z vnútornej a vonkajšej časti. Vstup viedol po moste, na východnej strane, ponad suchú priekopu, ktorá ho obkolesovala spolu s valovým opevnením. Z príležitosti delenia majetku v roku 1412 pochádza opis hradu:

Nádvorie vnútorného hradu lemovali podpivničené jednotraktové budovy s palácom, kaplnkou, komorami a kuchyňami. Pravdepodobne na východnej stane, kde sa dvor rozširuje, v strede uzavretého priestoru stála obytná veža, ktorá pripadla najstaršiemu a najváženejšiemu z rodu, komesovi Petrovi a jeho synom. Druhú, menej významnú vežu vnútorného hradu dostali synovia komesa Temmela. V nej bolo aj spoločne využívané väzenie. Do vnútorného hradu sa vstupovalo pod ochranou bašty. Celú túto časť obklopoval vonkajší areál, dookola ohradená kamenným múrom a prístupný jedinou bránou v hranolovej vstupnej veži. Neďaleko od nej stála ďalšia obranná turňa a pravdepodobne v rozšírenom priestore oproti bráne existovala tvz. vodná veža a akousi budovou. Boli tu aj ďalšie budovy, z ktorých sa výslovne spomína len pekáreň. Tento komplex budov ešte obklopovala hlboká priekopa s násypom na vonkajšej strane. Preklenutá vstupným mostom.

Kamenný hrad postavili grófi zo Svätého Jura a Pezinka po roku 1241, krátko po tatárskom plienení v roku 1241. keď dal Bela IV. Rozkaz stavať hrady kamenné. Po smrti grófa Juraja bol skonfiškovaný v prospech kráľa. Synovia tohto vzbúrenca, Žigmund, Krištof a Peter, sa s kráľom uzmierili a ten ho daroval Petrovi za preukázanú službu. Peter zomrel v roku 1516. Patril im až do vymretia ich rodu v roku 1543 do smrti Krištofa, posledného mužského člena rodu grófov zo Svätého Jura Pezinka. Potom hrad viac krát zmenil majiteľa. Do roku 1550 bol hrad majetkom Gašpara Serediho, ktorý v tomto roku zomrel. V roku 1566 sa stal hrad majetkom grófa Menberga, bratislavského župana. Po ňom ho do kráľovskej donácie dostal gróf Mikuláš Eck zo Salmi, ktorý ho aj s jeho majetkami dal do zálohy cisárskemu vojvodcovi grófovi Jánovi Krušičovi, za 132 tisíc toliarov. Po jeho smrti sa jeho vdova Katarína vydala za Štefana Illesházyho. Bolo to na prianie jej zomrelého manžela. V roku 1598 patriciát mestečka Svätý Jur predstúpil pred cisára Rudolfa II. s prosbou, aby ich záložnému pánovi Štefanovi Illesházymu prenájom viac neobnovoval. Príslušnú sumu chceli vyplatiť sami. Panovník návrh prijal. Ilešházy sa bránil, ale po tom ako upadol do cisárovej nemilosti a stratil všetok majetok a aby si zachránil holý život, musel utiecť do Poľska, bol Biely Kameň so všetkými so všetkými príslušnosťami odovzdaný cisárskou komisiou do užívania predstavenstvu Svätého Jura. Po tom ako Ilešházy výdatne prispel k tomu aby bol za kráľa zvolený Matej II. sa z nedávneho exulanta stal hlavný kráľovský dvoran. Boli mu vrátené majetky a takisto záloh Svätého Jura. Zemepán Juranov z hradu vyhnal. Ani sa moc nebránili, lebo vinice im zostali. Nakoniec výsadnou listinou Ferdinand II. z r. 1647 Svätý Jur povýšil na slobodné kráľovské mesto a tým aj zbavil závislosti na hrade. Mesto muselo ročne panovníkovi platiť 400 okov dobrého a vyberaného vína (1 okov = 56l, 400okov = 22 400l). Tam ale už panoval od r. 1626 Štefan Pálffi, ktorý majetok spolu s titulom grófa prevzal do večného vlastníctva rodu. Tí ho vlastnili od r.1611.