Baján a Szentháromság teret a Sugovica ölelésében a Szentháromság-szobor és a Városháza épülete uralja, melyről nem is gondolnánk, hogy egykoron egy kastély volt.

A mai épület elődjét gróf Patachich Gábor kalocsai érsek, Bács-Bodrog vármegye főispánja építette, azzal a céllal, hogy a Baján tartott megyegyűléseken való részvétele alatt méltó szállása legyen. A telekvétel után az építkezés 1744-ben kezdődött. Az érsek 1745-ben meghalt, így öccse, gróf Patachich Lajos örökölte az épületet, aki eladta azt a Kincstár tulajdonában lévő bajai uradalomnak. 1750-ben az uradalommal együtt a Grassalkovich család birtokába került. Grassalkovich I. Antal 1784-ben adta bérbe az uradalmat Horváth Zsigmondnak és Gludovácz Józsefnek. 1840. május 1-én hatalmas tűzvész pusztított Baján és ennek a kastély tetőzete is kárát látta. Az épületet Horváth János és Horváth József építették újjá, azzal a feltétellel, hogy az építkezés költségeit a Grassalkovich család a bérleti idő lejártakor visszafizeti. Grassalkovich III. Antal 1841-ben bekövetkezett halálával férfiágon kihalt a család, így összes birtokuk és vagyonuk a leányági örökösre Viczay Károlyra szállt. 1856-ban a Zichy-Ferraris család lett a kastély és az uradalom birtokosa, akik rokonságban álltak a Viczay családdal. Baja városa 1858-ban megváltotta magát a földesúri függéstől, 1862-ben Zichy Bódogtól 722 ezer forintért vásárolta meg a bajai uradalmat és a kastélyt is. A Millennium emlékére 1897 és 1898 között francia neoreneszánsz stílusban építtették át az épületet. Komolyabb felújítás 1994 és 1997 között és 2004-ben történt.

Az Alföldi kéktúra keretein belül jártam 2020-ban a környéken, Baján és a Szentháromság téren. Egészen csodálatos látvány Sugovica ölelte tér és az azt uraló Szentháromság-szobor és a volt kastély épülete.