Public Version 1- October 8, 2020

The framework will be reviewed annually. Please send feedback tooffice@coar-repositories.org

Download PDF Version (English)

Purpose

The purpose of the framework is to assist repositories to evaluate and improve their current operations based on a set of applicable and achievable good practices.

There are currently a number of existing evaluation frameworks and criteria that were developed to assist repositories in evaluating certain facets of their operations (such as discovery, access, reuse, integrity, quality assurance, preservation, privacy and sustainability), but these criteria are spread across different organizations and are often relevant to a single region or a single type of repository.

The objective of this work has been to create relevant criteria in a global and multidimensional framework to evaluate the best practices that can be adopted and used by different types of repositories (publications, institutional, data, among others), as well as in different geographical and thematic contexts.

Process

The COAR Working Group reviewed existing frameworks, identified gaps and assessed their level of importance, relevance and feasibility of implementation, and categorized each of the features as essential or desired. The framework was shared to COAR members in June 2020 for feedback. This version was also shared to other parties (RDA, national repository networks, among others) during September 2020 with the aim of having a version ready to publish on the COAR website in October 2020.

COAR seeks community input on essential and desired features. In particular, they are interested in comments related to:

  • Ease of adoption - Are any of the essential features too difficult to implement?
  • Gaps - Are any important criteria missing?
  • Clarity - Are any of these criteria difficult to interpret?
  • Relevance - Are any of these criteria not appropriate?

In the coming months, COAR will be working to provide links and references, guides and instructions that will help the community in adopting these good practices.

The Repository Assessment Working Group will review the framework annually (July/August of each year) to ensure that it reflects current best practices and is relevant to the international repository community.

Relationship to other evaluation tools and frameworks

The following frameworks were taken into consideration: Data Citation Roadmap for scholarly data repositories, Core Trust Seal, FAIR data principles, PLOS “Criteria that Matter”, TRUST Principles for Digital Repositories, COAR Next Generation Repositories Technologies, Plan S

Definitions

  • Content resource: refers to the object or element that has been deposited/uploaded to the repository (for example: manuscript, dataset, video).
  • Metadata record: refers to the collection of metadata elements for a given resource.
  • Landing Page: Describes the repository page that represents a particular content resource in the repository.

Objetivo Característica Esencial Característica Deseada

  1. Descubrimiento 1. 1. El repositorio admite metadatos de calidad y vocabularios controlados (basado en la disciplina, esquema de metadatos general o regional como Dublin Core 1. 7. El repositorio admite la vinculación entre recursos relacionados como artículos, datos y software (por ejemplo PIDs para recursos relacionados que se encuentra en otro lugar).
    1. El repositorio admite la cosecha de datos usando OAI-PMH 1. 8. El repositorio admite encabezados HTTP link para proporcionar el descubrimiento automatizado de registros de metadatos y recursos de contenido asociados con elementos del repositorio. Recomendamos enlaces escritosSignposting para esto.
    1. Los metadatos en el repositorio están disponibles, incluso en casos en que el recurso ya no lo esté.1. 9. El repositorio admite PIDs para autores, patrocinadores, programas de financiamiento y subvenciones, instituciones y otras entidades relevantes.
    1. El repositorio asigna un identificador persistente (PID) que apunta a la página de destino del recursos, incluso en los casos en que esté ya no se encuentre disponible.1. 10. Los metadatos en el repositorio están disponibles bajo una licencia de dominio público Creative Commons y están disponibles para su descargar en un formato bibliográfico estándar.
    1. El repositorio ofrece una función de búsqueda y/o los metadatos están indexados por servicios de descubrimiento externos y/o agregadores.1. 11. Los metadatos en los repositorios están disponibles en formatos legibles por humanos y por máquinas.
    1. El repositorio está incluido en uno o más registros de recursos generales o disciplinarios (por ejemplo, Re3data, OpenDOAR u otros registros nacionales, regionales o de dominio)1. 12. En el caso de los datos, el repositorio admite PIDs para datos en múltiples niveles de granularidad, cuando sea apropiado (por ejemplo, si hay una investigación que utiliza un subconjunto de los datos completos, se necesitará una cita del subconjunto de datos).
  7. Acceso 2.1. No hay un costo para el usuario para acceder a los recursos en el repositorio.2.5. El repositorio provee mecanismos para hacer accesibles archivos muy grandes a disposición de los usuarios fuera de la interfaz de usuario normal (en los casos en que el tamaño del archivo se vuelva difícil de manejar para el usuario) 2.2. El repositorio garantiza el acceso continuo a los recursos durante un periodo de tiempo establecido públicamente.2.6. En los casos en que existe un acceso restringido a un recurso, el repositorio facilita una forma indirecta de acceder a este recurso (por ejemplo, contactando al autor). 2.3. El repositorio admite el acceso a su documentación y metadatos para personas con discapacidad. 2.4. Neutralidad del dispositivo- no se necesita un dispositivo específico para que los usuarios puedan acceder al repositorio.
  8. Reutilización 3.1. El repositorio incluye información de licencias en el registro de metadatos que estipula las condiciones de reutilización.3.5. El repositorio tiene API’s abiertas para admitir la recolección de texto completo y/o la extracción de textos y datos. 3.2. El repositorio provee PID’s citables (1) – ver 1.4.3.6. Los recursos se almacenan en formatos estándar comunitarios legibles por máquinas. 3.3. El repositorio proporciona una lista de formatos preferidos, formatos no-propietarios. 3.4. Las páginas de destino incluyen los metadatos sobre el recurso, incluida la información necesaria para la cita en formato legible por máquina y por humanos.
  9. Integridad y autenticidad 4.1. El repositorio proporciona documentación o tiene una política que describe sus prácticas que evitan el acceso o manipulación no autorizados de los recursos.4.4. El repositorio proporciona información sobre los proveedores de contenido en los metadatos, incluido el nombre de la (s) persona (s) y/o institución (es) responsables del recurso. 4.2. El repositorio mantiene un registro de todos los cambios en los metadatos y recursos. 4.3. El repositorio admite el control de versiones de metadatos y recursos después del depósito. 5.Garantía de calidad 5.1. El repositorio realiza la conservación básica de metadatos (y recursos, si corresponde) (2).5.3. El repositorio admite anotaciones externas, comentarios o revisión de recursos y metadatos. 5.2. El repositorio proporciona documentación o tiene una política que describe qué procesos de conservación se aplican a los recursos y metadatos.
  10. Privacidad de datos sensibles (por ejemplo, sujetos humanos, entre otros)6.1. En los casos en que el repositorio recopila datos de investigación sensibles, existen mecanismos que permiten a los propietarios de los datos limitar el acceso solo a usuarios autorizados.6.2. En los casos en que el repositorio recopila datos de investigación sensibles, el repositorio proporciona acceso escalonado en función de los diferentes niveles de requisitos de seguridad de los datos.
  11. Preservación 7.1. El repositorio (u organización que administra el mismo) tiene un plan a largo plazo para administrar y financiar el repositorio.7.3. El repositorio tiene un enfoque documentado para la preservación, que adopta una práctica de preservación ampliamente aceptada. 7.2. El repositorio proporciona documentación o tiene una política que define la duración del tiempo que los recursos serán administrados a largo plazo y documentación sobre prácticas de preservación.7.4. El acuerdo entre el depositante y el repositorio prevé todas las acciones necesarias para cumplir con las responsabilidades de conservación, por ejemplo, derechos para copiar, transformar y almacenar los recursos. 8.Sostenibilidad y gobernanza 8.1. El repositorio indica claramente qué organización es responsable de administrar el mismo. 8.2. El repositorio indica claramente la naturaleza de la gobernanza de los servicios (o la organización que gestiona el repositorio).

  12. Otras características 9.1. El repositorio tiene un punto de contacto o mesa de ayuda para ayudar a depositantes y usuarios.9.5. El repositorio funciona en sistemas operativos bien soportados y otro software de infraestructura central. 9.2. El repositorio tiene un aviso público que indica que responderá a las consultas dentro de un plazo determinado (que no supera los 14 días).9.6. El sistema de envío/depósito admite tanto las cargas de creadores individuales como las cargas masivas de registros y recursos. 9.3. El repositorio proporciona documentación o tiene una política que describe el alcance del contenido aceptado en el repositorio. 9.4. El repositorio recopila y comparte información de uso utilizando una metodología estándar (por ejemplo, número de visitas, descargas).

  13. A citable PID would imply the identifier expressed as a URL that points to a specific landing page for that record, and that landing page must contain machine-readable metadata that describes the data set. We recommend using thesignposting protocol to support this.
  14. As defined by the CORE Seal of Approval, the basic level of preservation involves a brief verification and the addition of basic metadata or documentation when necessary.