Sources de données

Deux opérations en lecture seule travaillent avec les sources de données de votre organisation. data.sources.browse liste ce que contient la base de données qu’une source de données de requête installée lit : ses schémas, les tables d’un schéma ou les colonnes d’une table. Elle renvoie des noms et des types, jamais une ligne. data.sources.connectorProfiles vérifie des manifestes de source de données : elle compile les manifestes que vous envoyez et liste ce qui ne va pas dans chacun de ceux qui ne compilent pas.

import { createHttpPlatformTransport, createScrydonSDK } from '@scrydon/sdk/platform'

const platform = createScrydonSDK(
  createHttpPlatformTransport({
    baseUrl: 'https://scrydon.com',
    headers: () => ({ authorization: `Bearer ${accessToken}` }),
  })
)

const schemas = await platform.data.sources.browse({
  sourceId: 'orders-db',
  connectionRef: connectionId,
  browse: { level: 'schemas' },
})

const { profiles, refusals } = await platform.data.sources.connectorProfiles({
  sources: [{ sourceId: 'draft', manifestSnapshot: manifest }],
})

Par HTTP, les deux demandent le scope tables:read. Elles sont en lecture seule et peuvent être relancées sans risque.

Dans un workflow, sélectionnez les outils Scrydon Browse data source database et Check data source manifests parmi les outils d’un bloc Agent. Dans un outil Scrydon, les mêmes opérations sont ctx.data.sources.browse et ctx.data.sources.connectorProfiles. Cortex exécute les deux outils sans demander d’approbation, car ils ne font que lire. Sur ce chemin, aucun scope par opération n’est vérifié : ce qu’un parcours peut atteindre est fixé par l’autorisation de l’exécution, par l’usage de la connexion par la personne (vérifié quand l’exécution agit pour une personne), et par la source de données configurée pour lire par cette connexion.

Parcourir

browse.level choisit ce qui est listé :

• Les noms arrivent par pages. limit va de 1 à 500, 100 par défaut. Pour lire la page suivante, passez le nextCursor de la page précédente comme cursor. Un nextCursor à null signifie qu’il n’y a pas de page suivante.
• Un nom de schéma ou de table est en minuscules. C’est une lettre ou _, puis jusqu’à 62 lettres, chiffres ou _ : les noms qu’un manifeste de source de données peut sélectionner.
• rowCountEstimate est la statistique du moteur de base de données, pas un comptage. Il vaut null là où le moteur n’en expose pas.
• Les données personnelles sont jugées sur les noms et les types. Aucune ligne n’est lue pour en décider.

La lecture s’exécute en tant que la personne qui l’appelle, dans l’environnement d’espace de travail où l’appel est fait. La personne doit être autorisée à utiliser la connexion. La source de données doit être installée dans cet environnement d’espace de travail et configurée pour lire par cette connexion.

Vérifier des manifestes

Le résultat est { profiles, refusals }.

• profiles a une entrée par profil de connecteur distinct. Son sourceIds liste chaque manifeste qui a compilé vers lui. profile porte la version et les digests du profil, et lineage liste d’où la valeur de chaque colonne est lue.
• refusals a une entrée par manifeste qui n’a pas compilé, avec son sourceId et une reason : invalid_manifest, incoherent_profile ou unpinned_format. issues liste jusqu’à 100 problèmes, chacun avec le path du champ et un message. issuesTruncated vaut true quand il y en avait davantage.

L’opération ne lit rien de votre organisation. Elle compile seulement les manifestes que vous envoyez.

@scrydon/sdk/platform exporte les bornes (DATA_SOURCE_BROWSE_LIMITS, CONNECTOR_PROFILES_LIST_LIMITS) et les niveaux (DATA_SOURCE_BROWSE_LEVEL). Les champs inconnus, y compris un champ d’organisation ou d’espace de travail, sont refusés.

Erreurs