Tìm hiểu về Streaming Data tại Tech Coffee số 45
Tech Coffee #45 với chủ đề “Streaming Data in Azure Databricks” sẽ chia sẻ case thực tế từ dự án với khách hàng National Cash Register (NCR) – công ty chuyên cung cấp các giải pháp ki-ốt tự động (ATM), bán hàng tự động, thiết bị tự phục vụ và thiết bị hỗ trợ giao dịch tài chính… Đây là dự án xử lý IoT Data từ các thiết bị của NCR, sử dụng Azure Service bao gồm Eventhub, Azure Table, Delta Lake, Databricks, ADX , ADF…
Streaming data là các luồng dữ liệu được tạo ra liên tục bởi hàng nghìn nguồn dữ liệu khác nhau. Đối với bài toán streaming data, một trong những thách thức lớn nhất chính là việc xử lý lượng lớn các dữ liệu một cách liên tục trong một thời gian ngắn. Để hệ thống đạt tốc độ xử lý nhanh và ổn định, các Data Engineer cần tối ưu hóa quy trình xử lý dữ liệu, đảm bảo độ trễ nhỏ nhất trong việc thu thập và vận chuyển dữ liệu từ nguồn.
Tech Coffee số 45 sẽ đề cập đến các kỹ thuật được sử dụng trong việc thiết lập một streaming pipeline bằng Azure Databricks, streaming data từ Delta Lake, Eventhub. Kết quả đạt được giúp hệ thống tăng tốc độ xử lý từ 4K message/s lên đến 20K message/s, giảm độ trễ của hệ thống từ 12 giờ chỉ còn dưới 1 giờ.
Chương trình có sự tham gia chia sẻ của anh Hoàng Hà – Data Engineer từ đơn vị FHM. Anh Hà có 5 năm kinh nghiệm trong lĩnh vực phần mềm, trong đó có 2 năm làm việc trong mảng Data service on-premises và Cloud với các công việc như ETL, Streaming, Data Warehouse, Visualization cùng các nền tảng Microsoft Azure, Spark, Skywise.
Ngoài các nội dung về best practice trong bài toán Streaming data, anh Hà còn chia sẻ thêm một số tip & trick trong việc thiết lập các kết nối và xử lý dữ liệu trên Azure Databricks, điển hình như Azure Blob Storage, Azure Table API, SQL server…
Chương trình diễn ra lúc 14h00 ngày 28/7, trên nền tảng của Microsoft Teams. FSOFTer quan tâm có thể đăng ký tại LINK NÀY từ nay tới trước 15h00 ngày 27/7. Đặc biệt, BTC sẽ gửi tặng các FSOFTer tại HCM voucher ưu đãi cho các dịch vụ ăn uống tại cửa hàng E-Coffee Trung Nguyên (F-Town 3) khi các bạn đăng ký và tham gia chương trình.
Mọi thắc mắc, vui lòng liên hệ [email protected] hoặc Workplace Tech Coffee.
PhuongQT
