Démo de caméra de drone
Extension d'ontologie expérimentale et application marimo pour les détections d'objets depuis une caméra au sol qui surveille un DJI Neo, avec la détection par la plateforme, une position de caméra déclarée, une surveillance de présence, et de courts clips autour d'une observation.
L'extension d'exemple drone-camera déclare un type d'ontologie ImageDetection et deux sources de données push compatibles média : une caméra (la page de capture d'un téléphone, ou un script côté ordinateur portable) envoie une livraison HTTPS multipart signée par image, plus de courts clips. Les drones présents dans ces images sont trouvés par le propre détecteur de la plateforme lorsque le détecteur de la plateforme est activé par l'opérateur (voir Détection par la plateforme), ou par le détecteur du script d'envoi. Téléchargez le carnet opérateur et le modèle de permis d'application. Le carnet pleine largeur utilise les composants scrydon.apps pour afficher une carte à la position de caméra déclarée, un panneau « Dernière image », un tableau des détections de drone avec un lecteur de clip, et un panneau d'alertes critiques.
Pourquoi une caméra au sol, pas le drone lui-même
La démo cible un DJI Neo (135 g) : un petit drone piloté par téléphone (application DJI Fly). Il n'a pas de sortie HDMI et ne pousse pas de flux RTMP, et à 135 g il pourrait ne pas diffuser de Remote ID du tout. Cette démo est donc basée sur une caméra : une caméra au sol (la webcam du Mac, ou la caméra d'un téléphone reproduite sur le Mac) surveille la pièce, et le détecteur du script d'envoi trouve le Neo dans l'image. Le détecteur par défaut est Sauron, un modèle YOLOX-nano de détection de drones exécuté sur le processeur ; lorsque ses poids ne sont pas installés, le script se rabat sur YOLO-World, à vocabulaire ouvert, à qui l'on demande de chercher ["drone", "quadcopter"], tous deux associés à la classe unique rapportée "drone". La détection a lieu uniquement dans le script d'envoi : la plateforme n'exécute aucun détecteur dans cette version. En intérieur, il n'y a pas de position GPS fiable, donc chaque ImageDetection porte une position de caméra déclarée (declaredLat, declaredLon, un declaredBearingDeg optionnel, positionQuality: "declared"), jamais mesurée. La carte la dessine avec un marqueur en pointillés tourné vers son orientation déclarée, afin qu'elle ne soit jamais lue comme une position GPS.
Chaque image envoyée est une image, pas seulement une observation de drone
En plus d'une détection de drone, le script d'envoi pousse une image simple toutes les --snapshot-every secondes (10 s par défaut) et un battement de cœur toutes les --heartbeat-minutes pour que la source reste saine. Les deux écrivent toujours exactement une ligne ImageDetection — avec chaque champ spécifique à la détection à null plutôt que zéro ligne — afin qu'un flux d'images constant s'affiche dans le panneau « Dernière image » de Horizon même quand aucun drone n'est en vue ; « Détections de drone » filtre sur les lignes où un drone a réellement été trouvé. Chacune des deux requêtes lit au plus 500 lignes et devient entièrement indisponible au-delà : « Dernière image » devient indisponible dès que la table contient plus de 500 images, soit après environ 83 minutes à la cadence par défaut de 10 s du script d'envoi, ou environ 17 minutes d'images de téléphone à raison d'une toutes les 2 s.
Une surveillance de présence sur une petite zone déclarée
drone-in-view est une surveillance presence/signature, réutilisant le mécanisme de signature de mission pondérée de mik-north-sea (MISSION_ROLES de @scrydon/ontology-kernel) sur une petite zone déclarée autour de la caméra. Chaque ligne de détection est sa propre entité pour la surveillance, et la surveillance alerte à la deuxième observation dans sa fenêtre, pas à la première : une détection isolée peut être une fausse alarme (une pièce encombrée, un reflet), le seuil est donc un score de 2. La deuxième observation déclenche une détection critique au score 2 ; une troisième porte le score à 3 (plafonné par roleSaturation), franchissant suppression.refireOnScoreDelta et redéclenchant même pendant le délai de refroidissement ; une quatrième plafonne au même score. Cela a nécessité l'ajout de CAMERA_DRONE à l'énumération partagée MISSION_ROLES, préfixé de la même façon que les rôles de navire existants, car une classification de détecteur visuel est un domaine différent des rôles d'aéronef/navire déjà présents.
La fenêtre de la surveillance est de 360 secondes, plus longue que le balayage des surveillances de la plateforme, qui a lieu toutes les cinq minutes. Réveiller la surveillance à l'arrivée d'une image nécessite le bus d'événements, désactivé par défaut en développement ; le balayage peut donc être la seule évaluation, et une fenêtre plus courte perdrait toute observation sortie de la fenêtre avant que le balayage suivant la lise.
Détection par la plateforme
La source d'images déclare le propre détecteur de la plateforme dans sa liaison média : ingest.media.detector nomme sauron-drone-v1 dans le catalogue de détecteurs de la plateforme, avec un minConfidence de 0.7. Lorsque le détecteur de la plateforme est activé par l'opérateur, chaque image que la source enregistre est aussi analysée dans la plateforme, si bien qu'une simple caméra, comme un téléphone qui exécute la page de capture, n'a besoin d'aucun détecteur propre.
- Chaque boîte de score au moins égal à 0.7 devient une nouvelle ligne
ImageDetectionde la table des images : ses colonnesclass,confidenceet de boîte, lamedia_refde l'image avec la boîte comme région, etdetectoràsauron-drone-v1@sha256:<empreinte du modèle>. Toutes les autres colonnes (heure de capture, position déclarée, capteur,clip_id) sont copiées depuis la ligne de la caméra pour cette image. La ligne de la caméra reste telle quelle. - Une image sans boîte au-dessus du seuil n'ajoute aucune ligne ; la ligne de la caméra montre toujours l'image.
- Les lignes de détection portent le libellé de la table. Une image d'un libellé supérieur à celui de la table est refusée, jamais écrite à un libellé inférieur.
- Le modèle s'exécute dans un bac à sable isolé sans accès réseau, et la plateforme le vérifie contre son empreinte épinglée avant d'analyser une image. La détection ne fait qu'ajouter des lignes : ce que la surveillance en fait, c'est lever une alerte à destination d'un opérateur.
Tant que le détecteur de la plateforme n'est pas activé par l'opérateur, une image arrive exactement comme avant, sous la seule forme de la ligne de la caméra, et déclarer le détecteur ne change rien.
Pourquoi 0.7 et non le 0.5 du catalogue. Cette extension est une démo filmée en intérieur, et le modèle attribue un score de 0.57 à une pièce vide ; le défaut du catalogue, 0.5, écrirait donc une ligne de drone pour une image vide. À 0.7, la pièce vide est écartée ; le rappel est d'environ 0.63, alors tenez le drone bien en vue de la caméra. Une source qui surveille le ciel dégagé pourrait se rapprocher du défaut.
Un détecteur à la fois. Lorsque le détecteur de la plateforme est activé pour cette source, lancez le script d'envoi avec --detector none. Avec les deux actifs, une observation est écrite deux fois, une par chacun, et ces deux lignes suffiraient à atteindre le seuil de la surveillance.
Les sources push et leurs liaisons média
manifest.ts déclare drone-camera-neo-v1 (images) et drone-camera-neo-clips-v1 (clips), toutes deux avec leur liaison média activée. Chaque livraison d'image porte une image et une partie JSON de métadonnées avec une ligne par détection — ou une ligne à champs nuls pour une image simple. Un clip est un court MP4 H.264 envoyé comme un média séparé (sa propre ligne DroneClip), seulement une fois que la liaison média déclarée de la source clips installée nomme video/mp4 — le script d'envoi ne devine jamais. Une caméra marque chaque image prise pendant l'enregistrement d'un clip avec le clipId de ce clip, et DroneClipOfDetection relie une détection à son clip par cet identifiant. Une détection de la plateforme copie clip_id depuis la ligne de son image, et se relie donc au clip qui la couvre sans que la caméra connaisse l'identifiant de la détection. Une image prise hors de tout enregistrement de clip n'est reliée à aucun.
La signature suit exactement le contrat HMAC entrant générique de la plateforme : x-signature est sha256=<hex> sur <x-timestamp>.<x-delivery-id>.<corps brut>, vérifié contre la même construction d'octets que l'ingestion push de la plateforme contrôle.
Le script d'envoi
uploader/upload.py est un petit script Python exécutable avec uv, sans configuration de projet : ses dépendances (requests, pillow, numpy, onnxruntime, ultralytics et son encodeur de texte CLIP) sont épinglées dans l'en-tête du script lui-même, et les poids de chaque détecteur sont épinglés par SHA-256 ; --camera utilise OpenCV et l'encodage des clips nécessite ffmpeg avec libx264, tous deux sollicités paresseusement. Trois sources d'images mutuellement exclusives — --watch-folder pour les photos copiées, --screen-region x,y,w,h pour une vue reproduite, ou --camera N|NOM pour une caméra locale via OpenCV. --min-confidence élimine tout ce qui est en dessous du seuil avant tout envoi ; sa valeur par défaut est le point de fonctionnement du détecteur choisi (0.5 pour Sauron, 0.03 pour YOLO-World). ultralytics, nécessaire à YOLO-World, est sous AGPL-3.0 ; le modèle et le moteur de Sauron sont sous Apache-2.0 et MIT. Le secret push est lu depuis une variable d'environnement et jamais journalisé. --dry-run construit chaque requête exactement comme elle serait envoyée et l'écrit dans un fichier au lieu d'appeler le réseau.
Utiliser votre iPhone comme caméra
--list-cameras affiche l'index et le nom de chaque caméra ; sur macOS, ceux-ci viennent d'AVFoundation lui-même (ffmpeg -f avfoundation -list_devices true -i "", ou system_profiler SPCameraDataType -json en repli), en supposant qu'AVFoundation, le backend cv2.CAP_AVFOUNDATION d'OpenCV et cette liste énumèrent tous la même liste de caméras dans le même ordre. --camera accepte ensuite soit un index brut, soit une sous-chaîne de nom insensible à la casse (par ex. --camera iPhone), résolue par rapport à cette même liste, avec une erreur franche listant les caméras disponibles quand un nom n'en trouve aucune ou plusieurs.
C'est ce qui permet à un iPhone de remplacer une webcam dédiée grâce à la Continuity Camera de macOS, sans application ni câble : une fois que l'iPhone et le Mac partagent le même identifiant Apple, que le Wi-Fi et le Bluetooth sont activés sur les deux, que l'iPhone est verrouillé, en orientation paysage et proche du Mac, et que les deux exécutent une version raisonnablement récente de macOS/iOS, l'iPhone apparaît comme une caméra AVFoundation ordinaire et
uv run upload.py --camera iPhone --endpoint <push-source-url> --declared-lat 48.8566 --declared-lon 2.3522l'ouvre directement, en 1920x1080 quand la caméra le propose. Un refus d'accès à la caméra (plutôt qu'un nom erroné) est la raison habituelle d'un échec d'ouverture ; l'erreur indique la correction (Réglages Système → Confidentialité et sécurité → Appareil photo).
Publier l'application
L'application publiée doit épingler exactement la révision d'ontologie installée et son empreinte de contenu. createDroneCameraAppPermit(revisionId, contentHash) valide ce permis avant qu'il ne soit saisi dans Analytics. Copiez app.py dans un carnet marimo, enregistrez-le, et utilisez le panneau de publication d'Analytics seulement après l'installation de la source drone-camera-neo-v1. Voir les manifestes de version d'application et les composants d'application marimo.
Caméra de téléphone (sans ordinateur portable)
Au lieu du script d'envoi côté ordinateur portable, un administrateur d'organisation peut transformer un téléphone directement en caméra : ouvrez la source push drone-camera-neo-v1 dans Analytics, ouvrez ses Paramètres et choisissez sa section Caméra du téléphone et saisissez la position de la caméra (la latitude et la longitude sont obligatoires). Analytics affiche un code QR contenant un lien à usage unique, valable 10 minutes. Le scanner ouvre une page de capture, servie par Analytics avec ses propres en-têtes, qui demande l'accès à la caméra et envoie les images via la même livraison multipart signée que le script d'envoi. Une clé de session courte et révocable remplace le secret réel de la source, afin que le téléphone ne le détienne jamais. Le lien est construit sur l'URL publique d'Analytics du déploiement (PUBLIC_ANALYTICS_APP_URL). La clé de session est dérivée de la clé d'API de la source : la connexion de la source push doit donc en contenir une, et une source connectée autrement est refusée dès l'émission.
Le téléphone est une simple caméra : il n'exécute aucun détecteur, et la plateforme n'en exécute aucun non plus dans cette version. Il envoie chaque image qu'il prend, une toutes les 2 s (la source d'images autorise 30 par minute), quel que soit le contenu du champ. Chaque image arrive comme une ligne ImageDetection à classe nulle, sans boîte et avec un detector nul : une configuration avec le seul téléphone remplit « Dernière image » mais jamais « Détections de drone », et la surveillance drone-in-view ne se déclenche jamais pour elle. Les détections de drone ne viennent que du script d'envoi côté ordinateur portable. Comme aucune détection ne déclenche de clip, la page enregistre un clip fixe de 8 s toutes les 60 s pendant qu'elle fonctionne, chacun avec un clipId nouveau et sans detectionId.
La session expire d'elle-même (2 h par défaut, 8 h au maximum). Arrêter sur le téléphone éteint la caméra et garde la session ouverte, si bien que Démarrer la caméra la reprend. Terminer la session sur le téléphone, quitter la page de capture et Révoquer dans Analytics y mettent chacun fin immédiatement.
La caméra du téléphone exige le mode de routage par défaut en sous-chemin, où la page de capture atteint son API sur sa propre origine. En mode sous-domaine, la section n'est pas affichée ; voir les modes de routage.
Ce que couvrent les tests de l'exemple
Les tests du manifeste valident les deux sources push (liaisons média, le détecteur de la source d'images contre sa table, colonnes de détection nullables, clip_id, la liste d'autorisation video/mp4 de la source clips), les liaisons d'ontologie, les jointures de liens, et le permis fixture. watch.test.ts évalue drone-in-view contre le vrai planificateur du noyau (planWatchDetection), le compare à la surveillance du manifeste, et prouve la séquence sans alerte/déclenchement/redéclenchement/plateau décrite ci-dessus. Les tests du script d'envoi vérifient la signature HMAC octet par octet, la forme JSON des métadonnées pour les deux sources push, le mappage de classe à vocabulaire ouvert et le filtrage de confiance, la cadence image simple/battement de cœur, la mémoire tampon d'images glissante et l'assemblage de clip, et une exécution de bout en bout avec une fausse caméra, un faux détecteur et un faux encodeur de clip, y compris une exécution à blanc qui n'importe jamais le client réseau. Aucun appel réseau, aucun téléchargement de modèle et aucune caméra ne s'exécute dans tout cela ; le véritable encodeur ffmpeg s'exécute une fois lorsqu'il est présent dans le PATH.
Note de sécurité : faites voler le Neo seulement dans une pièce dégagée et ouverte, loin des personnes et des objets fragiles, ou tenez-le simplement en l'air moteurs coupés, face à la caméra — la démo a seulement besoin que le Neo soit visible dans l'image, jamais en vol.
Ce que cette démo ne prouve pas : la détection par la plateforme sur une pile réelle (testée morceau par morceau, pas encore exécutée de bout en bout), le matériel réel d'un DJI Neo et une caméra réelle (webcam ou téléphone reproduit), les détections réelles du YoloWorldDetector, un clip livré réellement accepté et lu, les débits d'ingestion en production, ou le comportement à volume de production. Voir apps/docs/examples/drone-camera/README.md pour le guide complet.