Szárhegy első írásos említése Zsigmond király idejéből, 1406-ból való, ekkor Lázár Bernát nemes volt a birtokosa a területnek. A XV. század második felében Szárhegy vált a Lázár család legfontosabb birtokává. Ekkor a mai kapuépület helyén megerősített lakótornyot/udvarházat építettek. Ez volt a jelenlegi kastély elődje, az András udvarház (Lázár András után), amelynek részei 1450 körül készültek el és amelyet 1450 és 1532 között többször felújítottak, átépítettek, erre egy 1532-es évszám is utal, melyet az épületben találtak. 1590 körül itt nevelkedett Lázár Druzsina gyermekeként Bethlen Gábor későbbi erdélyi fejedelem és öccse, Bethlen István. Apjuk Bethlen Farkas Marosillye kaptiánya volt, de hamar meghalt és Lázár Druzsina 1590 körül hazajött két fiával Szárhegyre. 4 évig éltek itt, amikor az anya meghalt és a gyerekek Gyulafehérvárra kerültek.

Lázár István a XVII. század elején jelentős bővítéseket hajtott végre, ekkor alakult ki a kastély reneszánsz jellege. Ekkor bontják el a korai udvarházat, és az alapozások némelyikét felhasználva egy jóval nagyobb épületet emelnek a helyére. Lázár István az új divat szellemében újíttatta fel a kastélyt, melyet bástyákkal, várfalakkal és várárokkal vett körül, így várkastélynak is nevezhető. 1629-1631 között készült el a majdnem szabályos téglalap alakú, 100×75 méteres védőöv, szögletein egy-egy négyszögű bástyával, a déli falának közepén kiugró emeletes, kapubástyának is nevezett boltíves bejárattal. A bejárat két oldalát pártázatos díszesen tagolt, fülkés díszítésű, reneszánsz ízlésű fal köti össze a sarokbástyákkal. Mindkét bástyán címert, feliratot, dátumot is elhelyeztek, ott olvasható az építkezést befejező 1632-es évszám is. A hétszög alaprajzú ún. Vörös (Veres)-bástyát Lázár István halála után, 1698-ban fejezték be.

A Rákóczi-szabadságharcban az épületegyüttes egy része megsemmisült. A császári csapatok kifosztják és felgyújtják a kastélyt. A Szatmári-béke (1711) után még helyre lett állítva valamennyire, de ezután már a teljes enyészeté. 1748-ban, majd 1872-ben újabb tűzvészek tettek károkat az épületben, melyeket csak részleges felújítások követtek. A kastély utolsó lakói gr. Lázár Zsigmond és felesége voltak 1853-ig.

1967-től kezdődött meg két évtizedes restaurálása. Helyreállították a központi épületrészt (a mai galéria), majd a Lovagterem és a Gólyás bástya is elkészül, majd ezután a Túrós bástya és az Asszonyok terme is.

A kastélyban a közelmúltig Hargita Megye Tanácsának egyik alintézménye, a Szárhegyi Kulturális és Művészeti Központ működött. 2014-ben az örökösök birtokosi perei miatt bezárta kapuit. A Lázár-kastély tulajdonjoga azért volt kérdéses, mert több családnak is részesedése volt benne: az épületet 24 egységre osztották korábban, ebből a legnagyobb, 13/24-ed résszel a Budapesten élő Lipthay család rendelkezett. A Dél-Amerikában élő Berczely család leszármazottai 9/24-ed részt birtokoltak, valamint a Gyergyószárhegyen, a kastély közelében élő Vormair család 2/24-ed résszel rendelkezett. A többségi tulajdonjoggal bíró Lipthay család nem tudott megegyezni a Berczely és a Vormair ággal, hogy mi legyen a kastély rendeltetése, ezért indult több szálon is per a két fél között. 2016 márciusában Lipthay Antal a Dévai Szent Ferenc Alapítványnak ajándékozta a Lázár-kastély ráeső tulajdonrészét. 2018-ban, hosszas pereskedés után a Marosvásárhelyi Törvényszéken meghozott jogerős döntés értelmében teljes egészében a Berczely és a Vormair család tulajdonába került a kastély. A 2018-ban lezárult perben már az új tulajdonos, a Dévai Szent Ferenc Alapítvány állt szemben a Berczely és a Vormair családdal. A felperes a Szent Ferenc Alapítvány volt, de végül az alperes kapta meg a kastélyt. Borboly Csaba, Hargita Megye Tanácsának elnöke szerint azért születhetett meg ez a döntés, mert a törvényszék az egyenes ági örökösöket részesítette előnyben, nem pedig az alapítványt.