De pastorij van Olmen is in de loop der tijden verscheidene keren verbouwd en heropgericht. De eerste sporen in geschriften dateren van 1646. Deze eerste eenvoudige pastorij, waarschijnlijk een gebouw zonder verdieping, werd begin 18de eeuw ingrijpend verbouwd. Het poortgebouw (beschermd gebouw) voor de pastorij dateert nog uit die periode (muurankers geven het jaartal 1737 weer). De pastorij is omgracht met een vest die ook als visvijver werd gebruikt.
Tijdens de periode van de Franse revolutie werd de pastoor verdreven en de pastorij verbeurd verklaard en te koop gesteld, doch het geheel raakte niet verkocht. 
Na de Franse overheersing keerde pastoor en onderpastoor terug naar de vervallen pastorij. 
Begin 19de eeuw werden verscheidenen herstellingen uitgevoerd. De eerste helft van de 19de eeuw werd de pastorij goed onderhouden en verfraaid, doch tegen het einde van de 19de eeuw kwamen er terug onderhoudsproblemen zodat begin 20ste eeuw een grondige aanpak nodig was. In 1896 werd de kelder onder de keuken vernieuwd en in 1909 ontwierp de provinciale bouwmeester Jules Taeymans een nieuwe pastorij waarbij de oude keuken/moos behouden werd en het hoofdgebouw dichter naar het poortgebouw werd ingepland, gevoelig vergroot en verhoogd. Het gebouw is vormgegeven in een bescheiden vorm van Vlaamse neorennaissance. 
Zoals hoger reeds vermeld dateert het poortgebouw uit de 18de eeuw. Het is beschermd sinds 1973 als monument. Er zijn summiere opmeetplannen uit de tijd van Taeymans bewaard. Het poortgebouw bestaat uit een bakstenen brug over de authentieke omwallingsgracht en bestaat uit een eenvoudig volume in baksteen met een zadeldak met vlaamse pannen. Het is symmetrisch opgebouwd rond de centrale doorgang met links en rechts een enkele ruimte. Dit gebouw dat in zijn muurankers het bouwjaar 1731 draagt is lang verwaarloosd geweest. 
Deze twee gebouwen liggen in een pastorijtuin met een omwallingsgracht rondom. De tuin heeft nog enkele elementen van de vroegere pastorietuin en is in het oosten als Neerhof ingericht, westelijk met een grasveld. 
Het poortgebouw en zijn brug zijn wegens historische, esthetische en archeologische redenen,als monument gerangschikt. Het poortgebouw en de brug en de pastorij liggen in een beschermd landschap. 
Het beheersplan zal een ondersteuning zijn voor het herwaarderen van de volledige site, hetgeen reeds is ingezet met de eerste fase van restauratie van de pastorij zelf.