Kostel Všech svatých je původně románský kostel. Původně byl menší, nízký, zakončený půlkruhovou apsidou. Původní kostel byl zhruba poloviční a měřil 22 loktů. Uvnitř i zvenku kostela lze poznat, kam sahal – uvnitř ke sloupu po pravé straně a zvenku je vidět řada odhalených kamenů po levé straně hlavního vchodu. Z románské stavební fáze se zachovalo zdivo věže z lámaného kamene, věž s dvojitými okénky a obvodové zdivo lodi. Okna věže jsou umístěna v horním patře ve dvou řadách, jsou podvojná, rozdělená sloupky. Hrany oken a věže jsou ozdobeny tesanou žulou. Původní románský kostel byl roku 1866 přestavěn. Stará románská apsida byla zbořena, loď kostela prodloužena o dalších 25 loktů a ukončena novou apsidou, ozdobenou zvenku zubatou římsou. Při této přestavbě získal kostel současnou pseudorománskou fasádu. Cibulovitá báň věže pochází ze 17. století. V roce 1881 totiž do věže uhodil blesk, který ji poničil. Nynější báň pochází z roku 1884.
První zmínky o olbramovickém kostele pocházejí z druhé poloviny 12. století, kdy byl založen společně se vsí. O jeho založení se zasloužili rytíři z Olbramovic. Rytířům z Olbramovic (Dvořeckým) patřil kostel až do roku 1580. Čeněk Habart ve své knize Sedlčansko, Sedlecko, Voticko uvádí, že: „po příkladu rytíře Přecha z Olbramovic, jenž byl horlivým přívržencem učení Husova, celá osada záhy přilnula k podobojí a tak stal se kostel husitským, později utrakvistickým. Po roce 1624 byl utrakvistický kněz vypuzen a osada přidělena katolickým farářům v Bystřici.“ Od roku 1672 se stal filiálním kostelem votické fary.
Ze současnosti: V nedávné době, ve spolupráci Obce Olbramovice s farností Votice a za přispění dárců, proběhly opravy kostela a to:
Nyní probíhá oprava střechy věže kostela, jejíž krov je ve špatném stavu a zatéká do ní. Za účelem opravy věže kostela byla vyhlášena Obcí Olbramovice veřejná sbírka.