Az Ernuszt Kelemen utcában fekvő Ernuszt-kastély a hajdani Olad falu kastélya volt, de Olad már 1950 óta Szombathelyhez tartozik, IX. kerület néven.

Olad nevét feltehetően az O-lad nemzetségtől kapta. A XIII. századból az “Olod”, valamint “Olud” elnevezések ismertek. Zsigmond király 1421-ben Kocsi Pálnak adományozta Oladot Si, Sije birtokrészekkel együtt. A XVI. századi iratokban is fellelhető Olad: elzálogosított nemesi telekkel kapcsolatban említik nevét.

Az oladi birtok az 1730-as években adásvétellel került a Babocsayaktól a Skerletz családhoz, ami 1739-1808 között tartozott hozzájuk, majd 1822-ben Széchenyi Ferenc vásárolt meg. Ernuszt József a Széchenyi család jószágigazgatója volt, aki a birtokon lévő két ház közül az egyikre emeletet építtetett. 1857-ben Ernuszt József fia Ernuszt Kelemen vette át az oladi és a séi birtok irányítását. 1870-ben tűzvész volt a birtokon és az akkori épület leégett, helyére Ernuszt Kelemen barokk stílusban kocsialáhajtós, középrizalitos, 3+3+3 tengelyes kastélyt építtetett, amit róla neveztek el Ernuszt-kastélynak. Az épület homlokzatait 1880 körül átalakították eklektikus stílusban. 1945-ig nem az Ernusztok, hanem a velük rokon, szintén nemes Szirmayak voltak a tulajdonosai.

Jelenleg az épületben működik a Herman Ottó Kertészeti-, Környezetvédelmi-, Vadgazdálkodási Szakképző Iskola, a parkja már csak egy darabja a hajdani kastélyparknak, de szépen karbantartott és több ritkaság is fellelhető a növények között.