Catalogue Iceberg BYO
Connectez un catalogue Iceberg existant — AWS Glue, Nessie ou un catalogue REST — comme source de données Scrydon. Scrydon le lit en tant que principal de service unique, à l'aide des identifiants que vous fournissez.
Le catalogue BYO (Bring Your Own) vous permet de connecter un catalogue Iceberg existant à Scrydon comme source de données. Une fois connecté, les tables de ce catalogue apparaissent aux côtés de vos tables gérées par Scrydon dans Analytics, et peuvent être interrogées depuis les workflows, les notebooks et la couche d'ontologie.
Types de catalogue pris en charge :
| Type | Exemples de produits |
|---|---|
rest | Tout catalogue REST Iceberg (Lakekeeper, Polaris, Nessie REST) |
glue | AWS Glue Data Catalog |
nessie | Project Nessie |
Fonctionnement — modèle de principal de service
Scrydon se connecte à votre catalogue à l'aide d'un identifiant de principal de service unique que vous fournissez. Cela signifie que :
- La gouvernance de votre catalogue constitue la limite extérieure. Scrydon lit uniquement ce que cet identifiant est autorisé à lire. Vous contrôlez quelles tables et quels espaces de noms sont visibles par Scrydon en gérant les permissions de l'identifiant dans votre catalogue.
- Scrydon n'usurpe pas l'identité des utilisateurs individuels. Toutes les lectures de cette source de catalogue au sein de Scrydon utilisent le même identifiant. L'attribution par utilisateur a lieu dans le journal d'audit de Scrydon — qui, dans Scrydon, a interrogé quelle table — mais la requête adressée à votre catalogue provient toujours du principal de service unique.
- Les identifiants ne sont pas stockés dans la base de données applicative de Scrydon. Ils sont chiffrés et stockés dans la couche de secrets de la plateforme. L'API d'analytique ne journalise ni n'expose jamais les valeurs brutes des identifiants.
Non-objectif explicite : la transmission d'identifiants par utilisateur — où l'identité de chaque utilisateur Scrydon est transmise à votre catalogue — n'est pas prise en charge dans cette version. Tous les accès utilisent l'identifiant unique de principal de service que vous enregistrez.
Marquages
Lorsque vous connectez un catalogue BYO, vous lui attribuez des marquages par défaut. Ces marquages sont appliqués à chaque table lue depuis ce catalogue au sein de la couche de gouvernance de Scrydon. Par exemple, si vous marquez un catalogue comme confidential, toutes ses tables sont traitées comme confidentielles dans les politiques de classification et de contrôle d'accès de Scrydon, quelle que soit leur classification dans le catalogue source.
Vous pouvez mettre à jour les marquages après la connexion sans avoir à vous reconnecter.
Connecter un catalogue
La connexion, la consultation et la suppression de catalogues externes sont réservées aux administrateurs de l'organisation. Les autres membres voient sur l'onglet External Catalogs un avis indiquant qu'un administrateur de l'organisation gère les catalogues externes.
Accédez à Analytics → Data Sources et sélectionnez l'onglet External Catalogs en haut de la page (l'onglet Data Sources à côté liste les sources de données installées par vos packs).
Cliquez sur Connect catalog pour ouvrir le formulaire de connexion.
| Champ | Description |
|---|---|
| Name | Un identifiant court pour ce catalogue au sein de Scrydon (caractères alphanumériques en minuscules + _, 27 caractères maximum). Il devient une partie du nom interne du catalogue — il ne peut pas être modifié après la création. |
| Catalog type | rest, glue ou nessie. |
| URI | L'URL du point de terminaison du catalogue. |
| Warehouse | (Facultatif) Nom de l'entrepôt Iceberg, si votre catalogue l'exige. |
| Default markings | Un ou plusieurs marquages à appliquer à toutes les tables de ce catalogue. |
| Credentials | Paires clé-valeur transmises au catalogue comme propriétés d'authentification. Les clés exactes dépendent du type de votre catalogue. |
Cliquez sur Test connection — Scrydon tentera de lister les espaces de noms à l'aide des identifiants que vous avez fournis. En cas de succès, cliquez sur Save pour enregistrer le catalogue.
Configurations d'identifiants courantes
AWS Glue
aws.region = us-east-1
aws.access-key-id = AKIA...
aws.secret-access-key = ...Nessie (authentification par jeton bearer)
authentication.type = BEARER
authentication.token = <your-nessie-token>Catalogue REST (jeton)
token = <your-rest-catalog-token>Les clés et valeurs des propriétés ne doivent pas contenir de guillemets doubles (") ni de barres obliques inverses (\) — ils sont rejetés au moment de la connexion. Les guillemets simples et les parenthèses sont autorisés.
Essayer en local (développement)
La pile de développement Scrydon (docker-compose.analytics.yml) fournit un catalogue REST Lakekeeper local auquel vous pouvez vous connecter sans aucun compte externe — utile pour éprouver le chemin BYO de bout en bout :
| Champ | Valeur |
|---|---|
| Catalog type | rest |
| URI | http://localhost:8282/catalog |
| Warehouse | l'entrepôt que vous avez initialisé dans Lakekeeper (par ex. demo) |
| Credentials | aucun requis — le Lakekeeper de développement s'exécute avec authz-backend=allowall |
Ce catalogue local est réservé au développement ; il ne comporte aucune authentification et ne doit jamais être utilisé en production.
Interroger les tables d'un catalogue BYO
Une fois connecté, les tables de votre catalogue apparaissent dans Analytics sous le nom de catalogue que vous avez choisi. Vous pouvez les interroger depuis :
- Les workflows — à l'aide des outils standard
scrydon:tables(même interface que pour les tables gérées). - Les notebooks — les tables du catalogue sont disponibles dans le sélecteur de tables du notebook.
- La couche d'ontologie — vous pouvez lier des types d'objets aux tables d'un catalogue BYO, ce qui permet des requêtes d'ontologie sur vos données externes.
Toutes les lectures passent par la couche de gouvernance de Scrydon : les marquages sont appliqués, les accès sont journalisés et le masquage de colonnes issu des règles de classification de Scrydon est appliqué si vous en avez configuré.
Attribution par utilisateur
Même si toutes les requêtes adressées à votre catalogue utilisent l'identifiant unique de principal de service, le journal d'audit propre à Scrydon attribue chaque requête à l'utilisateur Scrydon qui l'a initiée. Vous pouvez ainsi répondre à la question « quel utilisateur Scrydon a lu la table X du catalogue externe à l'instant T » à partir de la piste d'audit de Scrydon.
L'attribution dans le journal d'audit de votre catalogue affichera l'identité unique du principal de service, et non les utilisateurs Scrydon individuels.
Supprimer un catalogue
Vous pouvez supprimer une connexion de catalogue BYO depuis Analytics → Data sources → [catalog name] → Remove. Supprimer une connexion n'efface pas les données de votre catalogue externe — cela supprime uniquement l'enregistrement de connexion de Scrydon. Les étapes de workflow Scrydon ou les liaisons d'ontologie qui référencent les tables du catalogue échoueront après la suppression.