VERAPLOT

Plateforme data & lakehouse

Plateformes data et lakehouses, des sources brutes aux tables Gold

Veraplot conçoit et construit des data lakehouses sur AWS pour les entreprises qui veulent une fondation unique et fiable pour le reporting, l'analytique et l'IA. Nous déposons vos sources dans Amazon S3 sous forme de tables Apache Iceberg, les raffinons du Bronze au Silver puis au Gold avec dbt, Python et Spark, et les gouvernons avec DataHub et Lake Formation. Chaque plateforme est livrée au forfait, prix fixé à l'avance, par des data engineers seniors, et le code comme l'infrastructure vous appartiennent.

Réserver un appel découverteObtenir un devis au forfait

  • Une seule version de la vérité

    Finance, opérations et commerce interrogent les mêmes tables Gold, avec des indicateurs définis une fois dans dbt, pas réinventés dans chaque tableau de bord.

  • Ouvert par conception

    Les tables Iceberg sur S3 se lisent avec Athena, Spark, Trino, Snowflake ou Databricks. Changer de moteur demain ne veut pas dire migrer vos données.

  • Prêt pour l'IA, pas seulement pour la BI

    Des tables propres, documentées et versionnées, voilà ce qu'il faut aux modèles ML et aux agents LLM. Une plateforme, trois usages : BI, prévisions, assistants.

Ce que vous recevez

  • Architecture cible et modèle de données

    Zones, domaines, conventions de nommage et modèle Bronze/Silver/Gold, documentés et revus avec vos architectes avant le début des développements.

  • Pipelines d'ingestion

    Connecteurs batch, CDC et streaming pour vos sources prioritaires, qui déposent la donnée brute en Bronze avec tout l'historique et la possibilité de rejouer.

  • Un projet dbt testé et documenté

    Modèles Silver et Gold en SQL versionné, avec tests automatisés, documentation générée et semantic layer pour partager les indicateurs métier.

  • Catalogue, lignage et droits d'accès

    DataHub ou Glue Data Catalog pour la découverte et le lignage, Lake Formation pour les droits par ligne et par colonne entre comptes AWS.

  • Infrastructure as code et runbooks

    Toute la plateforme en CDK ou Terraform, avec CI/CD, supervision, alerting et runbooks que votre équipe peut exploiter dès le premier jour.

La stack

Choisie pour votre contexte, pas pour un badge partenaire. Les formats ouverts d'abord, les services managés AWS là où ils se rentabilisent.

  1. Capter

    Batch, CDC et streaming, directement en Bronze

    • Apache Kafka
    • Amazon MSK
    • Amazon Kinesis
    • Amazon Data Firehose
    • AWS DMS
    • Debezium
    • Amazon AppFlow
    • AWS Lambda

  2. Stocker

    Formats de tables ouverts sur S3, aucun coffre propriétaire

    • Amazon S3
    • Apache Iceberg
    • Amazon S3 Tables
    • Apache Parquet

  3. Raffiner

    Du Bronze au Silver puis au Gold, en code testé

    • dbt
    • SQL
    • Python
    • PySpark
    • Apache Spark on AWS Glue
    • Amazon EMR
    • Polars
    • DuckDB
    • pandas

  4. Cadencer

    Planification, dépendances, reprises et backfills

    • Apache Airflow
    • Amazon MWAA
    • Dagster
    • AWS Step Functions
    • Amazon EventBridge

  5. Fiabiliser

    Catalogue, lignage, qualité et habilitations

    • DataHub
    • AWS Glue Data Catalog
    • AWS Lake Formation
    • dbt tests
    • Great Expectations
    • Soda
    • Data contracts
    • OpenLineage

  6. Servir

    SQL, tableaux de bord et tables prêtes pour l'IA

    • Amazon Athena
    • Amazon Redshift
    • Trino
    • Power BI
    • Amazon QuickSight
    • Grafana
    • dbt Semantic Layer
    • Amazon SageMaker Feature Store
    • pgvector

Cas d'usage types

  • Entrepôt de données national du transport

    Secteur public. Entrepôt centralisé et tableaux de bord BI sur les données nationales de contrôle du transport routier, avec analyses de séries temporelles au service des politiques publiques.

  • Data lake serverless

    Automobile. Un data lake serverless sur Amazon S3 orchestré par Step Functions, qui consolide les sources métier en couches propres et prêtes à requêter pour les équipes analytiques.

  • Partage de données inter-comptes

    Groupe industriel. Des droits Lake Formation exposent les catalogues Glue et S3 Tables (Iceberg) aux comptes consommateurs Power BI et SAP, sans copier un seul fichier.

  • ERP et marketing, avec speed layer

    Groupe industriel. Des ingesters SAP et Marketo alimentent le data lake, tandis qu'un speed layer Firehose rend les événements récents requêtables aux côtés des chargements batch de nuit.

Du premier appel à la mise en production

  1. 01

    Appel découverte

    Nous cartographions vos systèmes, vos contraintes et le résultat attendu. Vous échangez avec l'ingénieur qui réalisera le projet, pas avec un chargé d'affaires.

  2. 02

    Périmètre au forfait

    Un périmètre écrit, avec livrables, jalons et un prix unique, validé avant la première ligne de code. Aucun compteur de jours qui tourne.

  3. 03

    Réalisation en itérations courtes

    Des incréments fonctionnels toutes les une à deux semaines, présentés sur vos données, dans votre compte AWS. On corrige le tir tôt, pas à la fin.

  4. 04

    Passation et run optionnel

    Code, infrastructure as code, runbooks et passation avec votre équipe. Ensuite, vous exploitez vous-mêmes, ou nous assurons le support au mois ou sur 1 à 3 ans.

Les questions que l'on nous pose

Combien coûte un projet de data lakehouse ?

Un prix fixe, établi après un appel découverte, une fois vos sources, vos volumes et votre premier domaine métier clarifiés. Nous chiffrons au livrable, pas à la journée, et nos tarifs se situent généralement 30 à 50% sous les TJM d'une ESN équivalente. Un premier domaine ciblé représente un projet de taille moyenne ; une plateforme multi-domaines est découpée en jalons, pour vous engager étape par étape.

Combien de temps avant d'avoir des données en production ?

Un premier domaine arrive généralement en production en un à trois mois : ingestion, modèles Bronze/Silver/Gold et un tableau de bord par-dessus. Une preuve de concept sur une seule source peut tourner en quelques semaines. Les plateformes couvrant plusieurs domaines prennent trois à six mois, livrées par itérations avec une démonstration sur vos propres données toutes les une à deux semaines.

Avons-nous besoin de Databricks ou de Snowflake ?

Pas forcément. Sur AWS, des tables Iceberg sur S3 interrogées avec Athena, Spark sur Glue ou EMR, et dbt pour les transformations couvrent l'essentiel des besoins analytiques, avec une facturation à l'usage. Si vous utilisez déjà Databricks ou Snowflake, nous construisons dessus : les deux savent lire Iceberg. Nous recommandons selon vos charges, vos compétences et votre budget, et nous n'avons aucune licence à vous vendre.

Data lake, data warehouse ou lakehouse : que choisir ?

Un data lake stocke des fichiers bruts à bas coût, mais on peine à s'y fier ; un data warehouse est fiable, mais coûteux et fermé. Le lakehouse apporte les garanties d'un entrepôt (transactions ACID, évolution de schéma, time travel) sur des tables Iceberg ouvertes dans S3. Pour la plupart des entreprises, cela signifie un seul stockage pour la BI, la data science et l'IA, et un calcul payé uniquement quand les requêtes tournent.

Pourquoi dbt, et quelle place pour Spark et Python ?

dbt transforme vos traitements en SQL versionné, testé et documenté, que les analystes peuvent lire et relire. Spark, via PySpark sur Glue ou EMR, prend en charge ce que le SQL ne devrait pas faire : très gros volumes, parsing complexe, fichiers semi-structurés. Sur des volumes intermédiaires, Python avec Polars ou DuckDB est souvent plus rapide et moins cher que les deux. Nous choisissons pipeline par pipeline, pas selon la mode.