A régészeti kutatások szerint a jelenlegi romok előtt már állt a várhegyen egy korábbi, fából készült erődített épület, ami valószínűleg a terület földesurának erődített lakóhelye lehetett. Az építtető személyéről és az építés idejéről nem sokat lehet tudni: a hagyomány szerint az erődített épületet II. (Vak) Béla király uralkodása idején egy főúr, Sámson építette, aki 1132-ben a trónkövetelő Boris – Könyves Kálmán király második feleségének, Eufémia királynénak a fia, akinek anyját a magyar király a krónikák szerint házasságtöréssel vádolt meg és eltaszította magától – híve volt. Feltehetően erről a Sámsonról kapta a nevét a falu is, de az a Sámson, aki az írott forrásokban a XIII. század második felében szerepel a környéken, lehet a korai vár és falu alapítója, ám valószínűbb, hogy annak hasonló nevű leszármazottja. A területet a XIII. század második felében egy család három egymást követő generációja birtokolta: Györke, annak fia Jobbágy, és Jobbágy fia, Sámson.

Valamikor a XIII. század második felében a várhegyen a fent említett, egyszerű erődített épület helyén felépült az erős kővár. A vár középkori neve Fejérkő, a helyben bányászott, új korában igen fehér, a környező vulkáni hegységben ritka kőanyagból eredeztethető. Az építtető az a Jobbágy fia Sámson lehetett, aki az írott forrásokban az 1200-as évek végén többször szerepel a környék birtokügyeivel kapcsolatban. A vár kettős védelmi övvel épült fel, a belső várfal 2,5 méter vastag és eredetileg 10-12 méter magas lehetett.

A vár a XIV. század közepe előtt, néhány évtizeddel felépítése után ismeretlen körülmények között elpusztult. A pusztulásról az északi palotaszárny padlóját fedő vastag égett réteg és omladék tanúskodik, feltehetően tűzvész okozta vesztét. A tűzvész oka pedig valószínűleg háborúskodás, belviszály lehetett.

A vár első említése 1328-ból való. 1403-ban Sámsonháza egy bizonyos Kachy-i Pál tulajdona. 1406-ban Zsigmond király a magtalanul elhunyt Kókai Kálcs Pál fia, János összes birtokait, köztük Sámsonházát, Jobbágyit, Szőröst és Kazárt a királyi kápolna javadalmaihoz csatolja. Egy, a várral kapcsolatos oklevél 1409-ből már már romként említi azt. Ebben Luxemburgi Zsigmond a várat eladományozza, de egy év múlva visszaszerezte és 1424-ben második feleségének, Cillei Borbála királynénak adományozta, majd még ugyanabban az évben Tari Lőrinc birtokába került. Annak halála után előbb fia, Tari Rupert, majd unokája, Tari György kezére került a várhely. A XV. század közepén a Felvidék jelentős részét elfoglaló husziták Fejérkőt is megszállták, erről tanúskodik pl. I. Ulászló királynak a területen megtalált dénárja. 1465-ben Tari György 24 000 forintért zálogba adja többek között a siroki várat, Sámsonházát és Jobbágyit Guti Ország Mihály nádornak, valamint Kompolti Miklósnak és Vendelnek. 1472-ben Tari György magtalan halála után a nádor és a Kompoltiak örökül kapják a birtokokat Mátyás királytól.

A XIX. század végén Könyöki József még a mainál jóval több falat látott és ábrázolt alaprajzán, melyet a jelenlegi kutatások részben igazoltak, részben pontosítottak. 2004-2005-ben, a régészek összesen négy helyen végeztek kutatást a területen: az északi palotaszárnyban, a vár déli felén és a falszorosban, a déli várárokban és a külső kapunál, a feltárással párhuzamosan a még álló falak állagmegóvására is sor került.

A romokat az OKT útvonaláról egyszerűen megközelíthetjük. Az aszfaltúton egy tábla jelzi, hogy hol kell lekanyarodni a kőbánya után (vagy előtt, ha a másik irányból érkezünk). Innen szekérúton kapaszkodhatunk fel a magasba, végül pedig egy ütött-kopott tábla jelzi, hogy hol kell lefordulni a romokhoz balra. Nem lehet eltéveszteni. Az utolsó méterek nagyon meredek kaptatón vezetnek, de végül megéri a fáradozás. Ha lehet, akkor ne nyáron közelítsük meg, mert akkor a buja növényzet mindent eltakar.