Fue construida a finales del siglo XI, cuando el rey Fernando I consolidó la zona a favor de los reinos cristianos, en torno al 1.060. Atribuida a artesanos posiblemente mozárabes, la ermita está situada en tierra de frontera, durante mucho tiempo en disputa entre cristianos y musulmanes, por lo que no resultan extrañas las influencias árabes, como se puede apreciar en la linterna y en la tribuna, o la columna central, en forma de palmera, que evoca una mezquita.
Se cree que la gruta y manantial anejos sirvieron en su día para retiro de algún eremita. La cueva fue el origen de un monasterio o cenobio, bajo la advocación de San Baudelio, mártir galorromano del siglo IV.
Las pinturas, de excelente factura, son de las más antiguas de estilo románico de España, y combinan la temática religiosa y profana. Se desconoce quién o quiénes fueron sus autores, aunque se supone fueron tres artistas locales, a quienes se les ha llamado Maestro de Maderuelo o Primer Maestro de Casillas, quien habría realizado los elementos decorativos de bóvedas y arquerías, las escenas bíblicas y las pinturas del ábside; el Maestro de San Baudelio, autor posiblemente de las escenas cinegéticas de la zona baja, sin duda, las pinturas más originales, y el tercer Maestro, autor de las pinturas del interior del coro.
Lamentablemente y como en tantos casos en España, parte de esos frescos fueron mal vendidos, saliendo de nuestro país, y sólo se pudieron recuperar algunos, que hoy se pueden disfrutar fuera de su entorno natural, en el Museo del Prado.
En el exterior de la ermita, justo junto al ábside, hay una necrópolis rupestre, con alrededor de veinte tumbas –toscamente labradas- antropomorfas. Son del siglo X, aunque seguramente se siguieron utilizando hasta el XVI, y están orientadas de este a oeste.
Tras la visita a la ermita, merece la pena acercarse a la localidad próxima de Berlanga de Duero, cuna de Fray Tomás de Berlanga, descubridor de las islas Galápagos e ideólogo del Canal de Panamá, que alberga la magnífica Colegiata de Santa María del Mercado, como monumento más destacado de un patrimonio muy rico.