Skip to main content

数据分析与可视化

DataVista 企业数字化转型数据驱动引擎

DataVista Hub 是面向企业打造的一体化数据驱动引擎,集数据采集、治理、分析、可视化与预测于一体,构建统一数据底座,支撑智能决策全流程。平台融合机器学习引擎、灵活数据接入与企业级安全体系,广泛应用于报表自动化、趋势预测、业务分析等场景,是企业推进数字化转型的核心中枢。

企业数字化转型实践平台

该项目以制造企业(模具制造/汽车排气管)为背景,聚焦 CNC/PLC 设备数据上报、扫码报工与远程监控三大核心场景。项目基于树莓派/EMQX 网关采集设备运行状态,通过 MQTT 协议实现边云联动,并同步写入 InfluxDB 等时序数据库。前端支持扫码枪快速工序录入,后端基于 FastAPI 构建数据服务,最终通过 Grafana / DataEase 打造工厂设备监控与生产报工可视化大屏,实现从底层设备到管理决策的一体化数字化转型平台。

汽车制造BI数据大屏

基于 FineReport、FineBI 打造的汽车制造业可视化大屏,整合MySQL数据库中的生产线、质量和供应链数据,通过Spring Boot构建的数据接口实现多维度交互式分析,展示生产实况、产能和质量指标

大数据SRE统一监控平台

融合Prometheus、Grafana、Loki、Tempo等监控组件,打造面向Hadoop/Spark/Flink等大数据组件的可观测性平台。通过自定义Exporter和OpenTelemetry,采集系统指标、服务链路与日志,实现多维告警、故障追踪和容量分析,为大数据平台提供一站式SRE保障方案。

多源爬虫抓取概览报告

本报告基于 Scrapy 框架,采集 BoXX直聘、汽车X家、企X查、小X课堂及微信小程序接口的多源数据,并对抓取结果进行数据清洗、统计分析与可视化展示。实现对结构化与半结构化数据的高效采集与持久化存储至 MySQL。报告呈现关键指标、趋势图表及数据洞察,为业务决策提供支持。

数据仓库与集成平台

Hadoop Cluster 搭建

基于YARN资源调度的大数据集群环境,包含Hadoop HDFS分布式存储、Spark on YARN离线计算、Flink on YARN实时计算等组件的部署与管理,提供统一的资源调度和分布式计算能力

大数据处理平台(bdp)

基于Flink CDC实现业务数据实时采集,结合Spark+Hive构建离线数据仓库。采用Spark Streaming进行实时计算,打造统一的数据处理平台,实现实时和离线数据的一体化处理能力。

通用型大数据管理平台

企业级大数据处理平台,集成 Hadoop、Hive、Presto、Spark、DataX 等,SpringBoot 统一服务调度,React 前端展示,支持任务调度、SQL 查询、HDFS 管理、Ranger 权限与多源异构整合。

多层次大数据管理平台

企业级大数据平台项目,整合自动化部署、元数据管理、统一查询引擎及平台监控治理等核心能力。项目基于 Java(Spring Boot、MyBatis、gRPC)构建,同时辅以 Python 数据处理示例,支持 Hadoop、Hive、Spark、Presto 等大数据技术,实现数据的高效存储、处理与管理。

数据运营系统

Titan数据运营系统是一个全栈闭环的数据分析平台,专为线上业务公司设计。系统通过flume-kafka-flume采集用户行为日志,结合Hadoop生态系统进行数据存储与处理,支持业务运营决策、精准用户画像和个性化推荐。平台整合了[日志采集]、[数据仓库]、[数据处理]和[可视化展示]四大功能模块,提供从埋点数据收集、数仓表转换到报表展示的全流程数据运营能力

太一数科平台离线数仓

基于Hadoop生态系统打造的大数据分析平台,涵盖行为数据采集、ETL处理和多维分析。特色功能包括基于SparkGraphX的用户ID映射、BitMap/HyperLogLog/BloomFilter优化的多维统计、拉链表技术的历史追踪,以及完整的用户画像系统。支持流量分析、用户活跃度分析、漏斗分析和归因分析等多种数据应用场景。

数据治理与中台建设

用户搜索行为实时监控分析系统

融合Flink SQL和Spark Streaming的实时监控系统,前端通过websee实现React埋点,后端采用SpringBoot+gif埋点收集数据。集成MinIO对象存储与Kafka消息队列,使用Sa-Token鉴权和Knife4j文档化API,实现用户行为分析与内容安全检测

多维关系图谱平台

基于Neo4j图数据库和APOC扩展构建的关系图谱平台,使用Spring Data实现多维关系存储和查询,通过Forest框架集成第三方API获取个人和圈子画像,基于Spring Boot开发的智能查询引擎支持深度关联分析

智慧校园数据中台

基于SpringBoot构建的校园数据治理平台,整合动态多数据源、MapStruct对象映射、Google Aviator表达式引擎和ElasticJob分布式调度,实现元数据管理、多维度数据计算和数据服务统一输出。通过模板设计模式和RocketMQ消息队列,解决数据采集与维度升级问题,为校园业务提供标准化数据服务和指标计算能力。

数据治理平台

全面的数据治理解决方案,专注于数据战略制定、质量管控、标准建设与合规管理。平台整合了[数据资产盘点]、[数据质量监控]、[数据标准管理]和[数据安全与合规]四大核心模块,提供从数据资产评估、质量监测、标准落地到隐私保护的全方位数据治理能力

实时计算与数据管道

亿级实时用户画像平台

基于Flink+ClickHouse构建的高性能用户画像系统,支持亿级数据秒级分析,覆盖从基础属性到行为特征、消费习惯的全维度标签体系。通过实时数据同步、多终端数据整合和机器学习算法(Logistic Regression、K-means、TF-IDF),为企业提供用户分群、兴趣画像、风险特征等精准分析能力,采用SpringCloud微服务架构,配备Vue+ECharts可视化展示

亿级在线实时动态规则运营系统

该项目通过Flink实时计算引擎结合Groovy动态规则脚本,实现用户行为与画像的高效判断与精准营销推送,支持复杂事件序列与属性统计判断,采用Doris+Redis混合存储策略,兼顾实时性与系统性能,具备强灵活性与高可扩展性。

Doris实时数仓

基于Flink和Apache Doris构建的企业级实时数据仓库解决方案,专注于高性能实时数据处理与分析。平台整合了[实时数据采集]、[流式计算处理]、[OLAP分析引擎]和[多维数据可视化]四大核心模块,提供从数据实时摄取、流批一体处理、即席查询到实时报表展示的完整实时数仓能力

用户行为日志实时预处理与分发系统

基于事件驱动架构构建的可伸缩、低延迟日志处理系统,支持海量用户行为数据的实时采集、预处理与多路分发。系统采用对象存储(MinIO/S3)+ 云函数(OpenFaaS)+ 消息队列(Kafka)+ Kafka Connect 构建数据管道。云函数自动响应日志上传事件,执行 Gzip 解压、JSON 验证、字段标准化与敏感信息脱敏处理,并将结构化数据推送至 Kafka。

现代智能推荐系统

基于Flink+Alink构建的电商全端智能AI个性化实时推荐系统,整合了[实时推荐引擎]、[用户画像构建]和[A/B测试平台]三大核心模块。系统采用协同过滤、内容分析和深度学习算法,结合用户行为数据流实时处理,为电商平台提供千人千面的商品推荐服务,有效提升用户点击率、转化率和客单价

企业级实时数据湖

基于Flink+Iceberg,覆盖工具域、互动域、交易域、流量域和用户域的多维实时分析。通过Flink CDC实现全增量一体化数据同步,结合Iceberg数据湖存储和ClickHouse高性能查询,打造支持海量数据的实时分析平台。采用Spring Cloud微服务架构

数据智能与应用服务

智能风控评分卡建模

基于机器学习和统计方法的风控评分模型平台,提供用户特征工程、评分卡建模、模型评估、评分结果部署等全流程建模能力,实现精准的信用风险评估

英语学习AI助手

采用FastAPI和SQLModel构建的英语学习助手,结合Pydantic实现数据验证,通过LangChain调用OpenAI API提供个性化语言学习服务,使用Uvicorn作为ASGI服务器,配合Docker-Compose实现容器化部署

私人医生AI助手

基于Java和Spring Boot构建的健康顾问系统,集成Spring AI与OpenAI实现智能医疗咨询,采用MySQL和MyBatis-Plus存储数据,通过SSE和Reactor提供流式响应,使用模块化分层架构

多模态AI内容生成平台

基于 FastAPI 搭建的智能照片滤镜平台,融合 SDXL Refiner 与 FLUX.1-dev 等扩散模型,支持人像卡通化、像素化和多样艺术风格迁移,提供文本生成图片能力。平台具备高并发推理、批量处理和高分辨率输出,适用于社交、设计等场景。

DDD智慧零售项目

基于领域驱动设计 (DDD) 方法论,针对智慧零售业务展开全面的分析、建模与设计。项目旨在通过 DDD 的战略与战术设计,将零售业务进行精细划分,实现业务模型与技术实现的有效对齐。

企业级RAG智能工单处理平台

基于FastAPI构建的智能客服投诉工单分流平台,知识库问答,数据库问答,支持亿级知识库检索、多路召回与实时问答,集成Langchain和DeepSeek实现工单智能分析,采用VLLM加速推理,通过Embedding和Rerank提升检索精度,使用Milvus向量库存储历史案例

智能模型即服务平台

基于 Spring Boot + FastAPI 构建的 AI 模型 SaaS 平台,提供预测、推荐、风控、LLM 等多种智能服务能力。平台采用 Spring Cloud Gateway 统一网关管理,服务间通过 OpenFeign 实现异构通信,集成 SkyWalking 实现链路追踪与性能监控,支持 MLflow 模型管理、ClickHouse 实时查询、XGBoost/Prophet/Faiss 模型部署与调用。

视频批量字幕处理工具

基于 TTS、ASR 与 LLM 的端到端视频批量自动字幕处理解决方案,支持语音检测与分割、实时语音识别、文本校正与翻译、多风格语音合成、音视频合成与同步、以及一键字幕嵌入。后端采用 FastAPI + Python 实现高性能服务,集成 Tacotron2/FastSpeech、HiFi-GAN、Conformer、GPT 系列模型,满足视频生产与内容创作的自动化需求。