Seria hasta 1611 que comenzaría la edificación del Convento de San Diego, siendo costeado por el Capitán Jorge Fernández Gramajo.

El 21 de octubre de 1625, se consagró la Iglesia del Monasterio y se conoce esta fecha como la de culminación de las obras del Convento de San Diego o Recoleto.
La construcción estuvo a cargo del maestro Simón González, quien proyectó y dirigió la construcción de la Catedral de Cartagena.
Son variados los usos que ha tenido la edificación. En 1857 aparecía dentro del Inventario de Bienes Inmuebles Nacionales, reseñado como cárcel de la provincia y del distrito de Cartagena como la Casa de Prisión y Reclusión.
Contaba este Claustro con otras propiedades aledañas que en algún momento intentaron ser vendidas o rematadas. Dentro del inventario del Convento se incluía un huerto, que para el año de 1881 se intentó vender y al no aparecer postor para el remate del 31 de agosto del mismo año, el administrador de hacienda de la provincia, lo adjudicó al Inventario General del Estado.

Ya para el año de 1891 se encuentra totalmente extinguida la comunidad Franciscana de San Diego, el Claustro continúa con su labor como centro reclusorio.

Siendo gobernador José Manuel Gogenaga se instala en el primer piso de la construcción, la planta eléctrica de la ciudad que en 1905 hizo explosión causando grandes daños a la edificación.

Como era costumbre de la época, los edificios de naturaleza religiosa destinaban una parte de sus terrenos a los campo santos o cementerios y el claustro de San Diego no fue la excepción. En 1917 se ordenó el traslado de éste con el fin de que la Administración del Monopolio de Licores se instalara en dichos terrenos.
En el año de 1957 siendo gobernador Eduardo Lemaitre, y según informe del entonces secretario de educación departamental se acordó trasladar el Instituto musical y de Bellas artes al Convento, en busca de una mejor locación.

Solamente hasta 1983, se protocoliza a través de la ordenanza 17 de ese año, la cesión de la edificación conocida como Claustro de San Diego de propiedad del departamento de Bolívar, para el funcionamiento del Instituto Musical y de Bellas Artes, complementado a su vez con un comodato entre la licorera de Bolívar y el Instituto para la dotación de talleres y aulas, colindando este anexo con la Calle de Campo Santo.

Sería ese mismo año que la firma Alberto Samudio & Cia. Ltda.. iniciara los trabajos correspondientes a la restauración total de la edificación, con el fin de que conservara sus características espaciales, ambientales y estilísticas.
Para completar el área requerida por la Esba se propuso construir por el lote aledaño del lado este, una edificación que siendo de características arquitectónicas contemporáneas, resultara armónica con el conjunto. Para lograrlo, se repitió el esquema que dispone espacios construidos alrededor de un patio central, prototipo de las casas cartageneras.
Especial atención mereció el rescate de los vanos originales del convento y de la iglesia, descubiertos mediante calas practicadas en la obra. Las fachadas adquirieron un aspecto original, con la excepción del segundo cuerpo de la misma, donde a falta de testigos infructuosamente buscados que confirmaran la existencia de una torre de campanas mencionada en las crónicas, se optó por conservar el hastial de apariencia gótica realizado por el artista cartagenero Luis Felipe Jaspe, después de la explosión de 1905. En el primer cuerpo de la fachada, sin embargo, fue posible descubrir los arcos originales y restituir el portal de acceso como medio integración entre la Escuela y el parque de San Diego, con el fin de que el Convento sirva como una prolongación didáctica de la plaza, revitalizando el sector.