A kutatások szerint már a X. században lehetett egy falu ezen a területen, melynek neve a XI. században Pályi volt. Később, mivel a közelben több Pályi nevű település is volt, az Ér toldalékkal különböztették meg, míg végül az Érpályi névből lett Herpály.

Azt pontosan nem lehet tudni, hogy kik építették a templomot. Egyesek szerint a templomot a johanniták építették saját maguknak és később került az át a premontreiek birtokába, vagy talán a johanniták már egyből a nekik építették fel. A templomhoz tartozó kolostorról nem maradtak fenn írásos források, azt sem lehet tudni, hogy volt-e egyáltalán hozzá tartozó kolostor, így csak feltételezések születtek, hogy az a bencés rendhez tartozott. Az tűnik a szakemberek szemében a legvalószínűbbnek, hogy a templom kolostortemplom volt, vagyis külön kolostorépület nem csatlakozott a templom épületéhez, hanem maga a kolostor szolgált templomként.

A tatárjárás során a falu lakosságának nagy része elpusztult, a kolostortemplom pedig súlyosan megrongálódott. Herpály 1260 körül már újratelepült és a XIII. és XIV. század fordulóján újra felépült a kolostortemplom.

1658-ban a krími tatárok felégették a Berettyó folyó völgyét, amit 1660-ban a törökök is végigpusztítottak. Ezek nyomán a település végleg kihalt, elpusztult.

1806-ban állt még a kolostortemplom két tornya, a templomhajó, a sekrestyés kápolna és az épületet körülvevő vizesárok. 1842-ben pedig állt még a templom északi tornyának maradványa, amit sajnos életveszélyessége miatt le kellett bontani. 1844-ben a környező területek a Tardy család birtokába kerültek, akik a déli torony ledőléssel fenyegető felső emeletét lebontatták, majd 1848-ban Tardy Elek a templomromot körülvevő árkot is betöltette. A megmaradt téglákat a környékbeliek elhordták, egyedül a déli torony maradványa maradt meg, ez lett így a Csonkatorony.

1900-as évek elején végeztek feltárási és helyreállítási munkálatokat a megmaradt déli toronynál, mely ennek során védőtetőt kapott. Ez a II. világháborúban elpusztult, valamint elpusztult még az emelet északi, nyugati fala, és déli sarka, továbbá jelentősen megsérült a bejárata, illetve az északnyugati támpillére is. 1959-ben a megyei építőipari vállalat munkatársai mentették meg a végleges pusztulástól a Csonkatornyot, melynek során újra felfalazták a hiányzó részeket. Régészeti kutatásokat 1972-1976 között végeztek, ekkor történt meg a templom egykori alapjainak felfalazása, és ennek során alakították ki a jelenlegi állapotokat.

2020-ban jártam itt az Alföldi Kéktúra során. Könnyen meglehet találni ha megnézzük az útvonalat a térképen. A főútról odavezető rövid, de földes út, esős időben nagyon sáros tud lenni.