Olvena da nombre a su famoso congosto, en el río Ésera, sobre el que hay que cruzar para llegar a la población, situada en lo alto y sobre los riscos.
Junto al moderno puente de la localidad existe otro romano, a inferior altura, llamado del Diablo. Olvena, la Holón de los romanos, fue plaza fuerte por su situación estratégica, donde defendió durante siglos el paso del congosto.
En Olvena hay, además, abundantes restos de la época prehistórica, como la Cueva del Moro. En la zona alta del municipio, se advierte el antiguo castillo, con una ermita que conserva dos saeteras medievales, posiblemente de una torre. La Iglesia Parroquial es del siglo XVI, según los cánones del estilo gótico tardío.