升级
自研分布式任务调度框架项目描述
项目描述: 自研分布式任务调度框架,作为企业级任务调度中心,用于管理和控制大规模定时任务的创建、调度和执行。基于gRPC+Netty搭建高性能通信核心,使用自研消息队列实现全异步任务处理。实现高效的任务调度、负载均衡、服务发现以及容错保护等多种功能,确保系统在高并发下的稳定性和可扩展性。
我负责的部分:
• 针对服务注册与发现实现自研NameServer,基于Distro协议实现AP一致性,支持动态服务发现和负载均衡
• 针对任务处理构建异步消息队列架构,实现任务创建、参数变更、状态同步等功能的异步处理。
• 实现多种负载均衡策略,如最小调度次数策略、动态分组拆分,支持Worker节点动态上下线和智能分配。
• 实现框架弹性扩展,支持应用级别锁隔离、任务重试机制、多级延时队列、死信队列等容错功能。
• 实现了高精度任务调度,基于时间轮算法实现毫秒级定时任务调度,支持CRON表达式和动态参数调整。
• 基于gRPC+Protobuf设计可扩展通信协议,支持用户自定义任务处理器、调度策略、负载均衡算法等扩展功能