Filippo Scolari (1369–1426) egy firenzei kereskedőcsalád sarja és Luxemburgi Zsigmond király híres lovagja volt, akit a szerelem kötött Ozorához, mert elvette feleségül Ozorai Borbálát, innen ered a magyar neve. 1418-ban ferences kolostort is alapított Magyarországon. 1407 és 1426 között a temesi főispánságot bírta, egyúttal királyi kincstartó és a királyi sókamarák igazgatója volt. Tagja volt az egyetlen magyar alapítású lovagrendnek, Zsigmond király híres sárkányos lovagrendjének. Tizennyolc győztes hadjáratot vezetett a török ellen, és a magyar királyok temetkezési helyéül szolgáló székesfehérvári bazilikában helyezték örök nyugalomra.

A szabályos négyzet alaprajzú, gótikus stílusú várkastélyt, Ozorai Pipo 1416-ban kezdte el építtetni és 1423-ban már biztosan állt. Halála után, 1426-tól özvegye, Borbála lett élete végéig a várkastély birtokosa, aki 1438-ban kelt végrendeletével a tulajdonjogot Hédervári Lőrinc nádorra hagyta, és ez a jeles bárói család egy évszázadig birtokolta azt. A vár első jelentős ostromára 1491-ben, a Mátyás király halála utáni anarchikus időkben került sor, melynek során Habsburg Miksa foglalta el rövid időre. Ezt követően, 1510-ben kezdődött meg a várkastély átépítése, reneszánsz stílusban. A Hédervári család kihalása után, 1537-ben Török Bálint birtokolta várkastélyt, aki újjáépíttette. 1545-ben a budai pasa csapatai foglalták el, majd szinte 140 évig folyamatosan török kézen volt. 1686-ban szabadították fel a várkastélyt, de ekkorra már csak három oldala állt, a negyediket az ágyúgolyók félig ledöntötték. A 17. század elejétől az Esterházyak dél-dunántúli birtokainak részét képezte Ozora, majd a 18. század elején megkezdődött az uradalom újjászervezése. 1727 és 1733 között helyreállították a romos középkori várkastélyt, a külső várfalakat lebontották, a leomlott délnyugati szárnyból csak a földszintet építették újjá, középen az új kőkeretes barokk kapuzattal. Az 1800-as évek elején történt egy újabb átépítés, melynek során az U alakú várkastélyt magtárrá alakították. A Műemlékek Nemzeti Gondnoksága 2007 nyarán múzeumként nyitotta meg a várkastélyt a látogatók előtt, ahol többek között megtekinthető Borbála hálószobája, a reneszánsz kandallós trónterem és a reneszánsz ebédlő.

Felszentelt kápolnájában freskótöredékek tekinthetők meg. Itt őrzik Szent György csontereklyéjét. Az emeleti termekben megtekinthető az egyedi fegyvermásolatokkal berendezett fegyverterem, Pipo rekonstruált páncélzata, a középkori enteriőrök sora és számos vadtrófea is. A várkastélyban ezen kívül 15. századi élményház és egy reneszánsz konyha is látható.