Ingestion dans la base de connaissances et analyse du contenu

Les deux moteurs de base de connaissances (RAG et Memex) ingèrent le contenu via le même pipeline : les fichiers sont téléversés via le serveur de la plateforme, analysés à la recherche de secrets et traités de manière asynchrone — la boîte de dialogue de téléversement se ferme dès que chaque fichier est mis en file d'attente, et la progression de chaque document s'affiche sur la page de la base de connaissances.

upload → server-side secrets scan → background processing → searchable

Téléversements routés par le serveur

Les fichiers des bases de connaissances sont toujours téléversés via le serveur de la plateforme — jamais directement du navigateur vers le stockage objet — afin que chaque octet puisse être analysé avant de faire partie de votre base de connaissances.

Limites de téléversement

Le total par dépôt et le plafond par fichier sont indépendants : un dossier de 400 documents de 500 Ko chacun respecte largement les deux, même s'il est bien plus volumineux que ce qu'un fichier unique peut être. Les fichiers dépassant le plafond par fichier sont ignorés dès le sélecteur avec un message indiquant la limite — le reste du dépôt est tout de même téléversé.

Un dossier volumineux est téléversé en deux étapes, toutes deux affichées sur la barre de progression : les octets sont d'abord envoyés, puis chaque document est enregistré auprès de la base de connaissances par lots. La barre n'atteint 100 % que lorsque les deux étapes sont terminées.

La politique de secrets (par base de connaissances)

Chaque base de connaissances possède une politique de secrets à l'ingestion qui contrôle ce qui se passe lorsque le contenu téléversé ou collé contient des secrets détectables (clés API, JWT, adresses e-mail) :

La politique s'applique à tous les chemins d'ingestion : téléversements de fichiers, texte collé/en ligne, documents créés par des workflows et pages qu'un agent classe dans une base de connaissances Memex (l'outil Knowledge Memex File Page). Avec Bloquer, la page classée n'est pas écrite : l'outil reçoit une réponse HTTP 422 avec code: "dlp_blocked".

Les bases de connaissances RAG nécessitent un fournisseur d'embeddings

Une base de connaissances RAG transforme chaque document en embeddings vectoriels. Chaque organisation démarre avec les embeddings locaux Scrydon activés, avec le modèle all-MiniLM-L6-v2 à 384 dimensions. Un autre fournisseur d'embeddings activé est prioritaire en sélection automatique ; vous pouvez aussi épingler un fournisseur et un modèle dans Paramètres → Plateforme → Extensions → Modèles et valeurs par défaut. Ce choix s'applique aux bases de connaissances créées ensuite : chaque base de connaissances enregistre le fournisseur et le modèle avec lesquels elle a été créée (par exemple scrydon/all-MiniLM-L6-v2) et continue de les utiliser, de sorte qu'activer plus tard un autre fournisseur d'embeddings ne déplace pas une base existante vers celui-ci. Si toutes les connexions d'embeddings sont désactivées, la plateforme bloque l'action en amont plutôt que d'accepter des documents qui ne pourraient jamais être indexés :

• La création d'une base de connaissances RAG est bloquée — la boîte de dialogue de création désactive le bouton et vous indique d'activer d'abord une intégration d'embeddings.
• Le téléversement vers une base de connaissances RAG (ou l'ajout de documents en ligne) renvoie HTTP 412 avec code: "EMBEDDING_NOT_CONFIGURED" et une reason valant soit org_not_configured (aucune intégration d'embeddings activée pour l'organisation), soit no_model_selected (la base de connaissances n'a aucun modèle d'embeddings).

Activez une intégration d'embeddings dans Paramètres → Plateforme → Extensions, puis créez la base de connaissances ou relancez le téléversement. Les bases de connaissances Memex ne calculent pas d'embeddings et ne sont jamais soumises à cette vérification.

Un fournisseur d'embeddings activé mais injoignable est un autre cas : son point de terminaison est hors service, ou la politique de sortie (egress) de l'organisation le refuse. Créer une base de connaissances sans préciser de modèle renvoie alors HTTP 503 avec code: "PROVIDER_UNAVAILABLE", retryable: true et la raison donnée par le fournisseur, et aucune base de connaissances n'est créée. Réparez ou désactivez ce fournisseur, ou épinglez-en un autre, puis réessayez.

Traitement asynchrone

Le traitement (analyse syntaxique, analyse des secrets, découpage/embeddings pour RAG ; dérivation de pages pour Memex) s'exécute dans des workflows d'arrière-plan durables. Un document passe par pending → processing → completed (ou failed avec une raison) ; la progression et les échecs sont visibles par fichier sur la page de la base de connaissances.

Les deux moteurs partagent un même explorateur de dossiers/fichiers sur la page de la base de connaissances : les fichiers sont parcourus par dossier, chaque ligne affiche la taille du fichier et sa date de téléversement à côté de son statut de traitement, et un fichier en échec peut être retraité directement depuis sa ligne — pour RAG, cela relance l'indexation ; pour Memex, cela réexécute le pipeline d'ingestion à partir du fichier téléversé d'origine. Avec l'autorisation de modification, vous pouvez sélectionner plusieurs fichiers (ou tout sélectionner) et les supprimer en une seule action, ou supprimer un dossier entier — l'action Supprimer le dossier de sa ligne supprime chaque fichier qu'il contient ainsi que tous ses sous-dossiers. La suppression se propage à chaque entrée dérivée de chaque fichier et ne peut pas être annulée.

Rédiger des notes textuelles

L'explorateur est la vue par défaut de la base de connaissances. Il utilise un navigateur de fichiers à gauche et un éditeur ou un aperçu à droite. Les utilisateurs disposant de l'autorisation de modification peuvent créer une note Markdown, modifier des fichiers .md, .mdx et .txt, et les enregistrer sans quitter l'explorateur. Les fichiers Markdown utilisent l'aperçu en direct ; les fichiers en texte brut conservent littéralement la syntaxe ressemblant à du Markdown. Les sources téléversées ou dérivées sans corps de texte canonique modifiable restent en lecture seule.

Sur les petits écrans, les fichiers et l'éditeur sont des vues distinctes avec une action Retour aux fichiers. Sur ordinateur, choisissez Édition, Aperçu ou Partagé. La note sélectionnée est conservée dans l'URL : le rechargement, les boutons précédent/suivant du navigateur et un lien profond partagé restaurent le même fichier. Cmd+N / Ctrl+N crée une note dans le dossier courant ; Cmd+S / Ctrl+S enregistre immédiatement, tandis que les modifications en attente sont enregistrées automatiquement.

Enregistrer un texte inchangé ne fait rien. Les notes RAG conservent leur dernier index interrogeable pendant que les fragments modifiés sont convertis en embeddings et que l'index de remplacement est validé ; les fragments dont l'empreinte de contenu est inchangée réutilisent leur vecteur existant. Les notes Memex mettent à jour l'index lexical de manière synchrone sans appel à un modèle d'IA.

L'état du contenu et celui de l'index sont signalés séparément : Non enregistré, Enregistrement, Enregistré, Indexation, Indexé, Enregistré — index obsolète ou Échec de l'indexation. Un éditeur obsolète n'écrase jamais une autre révision : il vous demande de charger le contenu le plus récent. Une indexation RAG en échec peut être relancée pendant que les derniers vecteurs interrogeables valides restent actifs. Les éléments binaires et les éléments dérivés adossés à des segments restent en lecture seule et proposent Créer une copie Markdown. Consultez Édition des notes de connaissances pour le comportement complet des formats et de l'éditeur.

Au-delà de la relance par fichier, une réingestion en masse de tous les documents en échec d'une base de connaissances RAG est disponible pour les opérateurs (POST /api/knowledge/rag/{knowledgeBaseId}/reprocess-failed, nécessite l'autorisation de modification sur la base). Elle réexécute l'ingestion de chaque document actuellement à l'état failed via le même pipeline durable — en laissant intacts les documents déjà completed et leurs embeddings — ce qui constitue le moyen le plus rapide de rétablir une base dont les documents ont échoué avant qu'un fournisseur d'embeddings ne soit configuré.

Pour les bases de connaissances Memex, téléverser un fichier dont le contenu existe déjà dans la base de connaissances aboutit plutôt à un état terminal skipped : le doublon est détecté pendant le traitement en arrière-plan (l'empreinte de contenu est calculée après l'analyse syntaxique et le masquage des secrets), de sorte que le téléversement lui-même se termine toujours immédiatement et que les pages existantes restent intactes. Les formats de fichiers non pris en charge et les fichiers audio sans intégration de reconnaissance vocale configurée sont toujours rejetés de manière synchrone au moment du téléversement.

Étiquetage et filtrage des documents (RAG uniquement)

Les bases de connaissances RAG prennent en charge les étiquettes de document — des champs typés (texte, nombre, date ou booléen) définis par base de connaissances et renseignés individuellement sur chaque document. Les étiquettes vous permettent de suivre des métadonnées structurées à côté de votre contenu — par exemple, un champ Region pour enregistrer la zone géographique couverte par un document, un champ Year pour l'année de publication, ou un booléen Reviewed pour un workflow d'assurance qualité.

Définir des champs d'étiquettes

Ouvrez la base de connaissances et cliquez sur le bouton Étiquettes dans la barre d'outils de l'explorateur pour définir, renommer ou supprimer des champs pour toute la base de connaissances. Vous pouvez également créer un nouveau champ directement depuis la fenêtre contextuelle d'étiquettes de n'importe quel document (voir ci-dessous) — le champ devient immédiatement disponible pour tous les documents de cette base de connaissances.

Afficher et modifier les étiquettes dans l'explorateur

Le tableau de l'explorateur comprend une colonne Étiquettes. Chaque document affiche ses étiquettes renseignées sous forme de puces Name: Value ; s'il y a plus de puces que la colonne ne peut en contenir, un indicateur de dépassement +N est affiché. Un document sans étiquette affiche — add tags —.

Cliquez sur les puces (ou sur l'espace réservé — add tags —) pour ouvrir l'éditeur d'étiquettes en ligne de ce document. Vous pouvez alors :

• Définir ou effacer une valeur pour n'importe quel champ existant.
• Créer un nouveau champ et définir immédiatement sa valeur sur le document courant.
• Cliquer sur Enregistrer pour appliquer les modifications — la ligne se met à jour sur place sans recharger la page.

La modification des étiquettes nécessite l'autorisation de modification de l'espace de travail. Les lecteurs peuvent voir les valeurs des étiquettes, mais l'éditeur ne permet pas de les modifier.

Filtrer par étiquette

La barre de filtres au-dessus de l'explorateur vous permet de restreindre la liste des documents selon une ou plusieurs conditions d'étiquettes — par exemple :

• Region égal à EU
• Year supérieur à 2024
• Reviewed égal à true

Plusieurs conditions sont combinées par un ET logique. Tant qu'un filtre est actif, l'explorateur affiche une liste à plat, à l'échelle de la base de connaissances, des documents correspondants au lieu de l'arborescence des dossiers — tous les dossiers sont parcourus, quel que soit celui qui est actuellement ouvert. Effacez tous les filtres pour revenir à la vue en arborescence des dossiers.