Después de 46 años de haberse consolidado como una de las fortalezas, fue vulnerada por un grupo de reos, que mediante un ingenioso plan, lograron escapar del Penal de Oblatos. Cuentan las historias que habrían logrado hacer un boquete en uno de los muros, y además con armamento asesinaron a tres custodios y dejaron a un lesionado para poder salir del penal por la calle Gómez de Mendiola.
La Penal de Oblatos había sido diseñada para albergar a 800 internos, sin embargo el problema se fue acrecentando cuando a principios de 1970 contaba con una población de alrededor de 2500 internos, lo que vulneraba la seguridad y hacía evidente que podría venir una fuga de reos.
Finalmente para principios de los ochentas, se determinó realizar la reubicación de los internos a otro penal, para posteriormente demoler la prisión que debió haber sido considerada como un patrimonio del Estado, pues además de su arquitectura, era una construcción de gran historia, sin embargo se determinó echarla abajo, y construir una unidad deportiva que hasta el momento sigue funcionando como tal.