“Mảnh đất hứa” cho Data Engineer tại FSOFT
Nhắc tới các dự án “đinh” tại FHN liên quan mật thiết tới xử lý dữ liệu, không thể không nhắc tới dự án S-Data Pilots với khách hàng Mỹ cùng 7 Data Engineering (DE) tài năng. Các DE đang tiếp tục được đào tạo, trau dồi và nâng cao chuyên môn để có thể đầu quân cho bất cứ ‘trận đánh’ nào của đơn vị khi cần.
Tham chiến trong dự án tiềm năng
Là đơn vị chịu trách nhiệm xây dựng năng lực dữ liệu (Data competency) của FHN, FHN.BU91 dưới sự dẫn dắt của anh Trần Phúc Khánh đang chạy nhiều dự án chuyên về xử lý dữ liệu, trong đó có dự án “đinh” S – Data Pilots.
S – Data Pilots là kết quả của hợp tác giữa FPT, INET (Intellinet) với khách hàng S – một trong những công ty sản xuất lớn nhất trên thế giới về các sản phẩm liên quan tới sàn nhà có doanh thu hàng năm là 6 tỷ USD, và 22.000 nhân viên trên toàn thế giới. Hiện, dự án đang trong giai đoạn pilot, kéo dài 3 tháng.
Với nhiệm vụ giải quyết bài toán về dữ liệu cho khách hàng, dự án hiện có 7 DE, trong đó có 3 DE chuyển từ Dev sang, còn lại là những DE sở hữu những chứng chỉ quốc tế và đã kinh qua nhiều dự án làm Data Engineering trong FSOFT cũng như các công ty lớn khác.
Chia sẻ về những bài toán cụ thể trong dự án này, PM Nguyễn Văn Toàn cho biết, sở hữu tập dữ liệu nội bộ như timesheet, tiền lương, thưởng và nhân sự, khách hàng S cần khai thác khối lượng dữ liệu khổng lồ tích lũy theo ngày, từ đó khai thác, trích xuất và tìm ra những insight hữu ích và hình ảnh hóa (visualize) những insight này lên dashboard. Để làm điều này, S thuê FPT Intellinet tư vấn và triển khai trọn gói, Intellinet đã “bắt tay” với đội ngũ offshore FHN.BU91 để cùng chạy dự án.
Trong dự án S – Data Pilots, DE đảm nhận 2 mảng việc chính là KPI Validation và Build data pipelines. Trong đó, với KPI Validation, S sẽ cung cấp một máy ảo window mà team sẽ truy cập thông qua app Citrix. Từ máy ảo này, DE sẽ dùng SQL Query data ở tất cả các database như timesheet, tiền lương, thưởng, nhân sự…. để đưa ra những con số thống kê. Sau đó, DE dùng Pivot, Query trên MS excel hoặc power BI/ Tableau để hiện thực hóa và tổng kết những con số này thành các biểu đồ hoặc bảng biểu giống như các báo cáo được xuất ra file PDF của khách hàng S. Tiếp đó, DE kiểm tra những con số ở biểu đồ hoặc bảng biểu đã tương hợp với các con số trong báo cáo hay chưa. Khi đã ghi nhận tương hợp, DE sẽ liệt kê các bảng được dùng trong câu SQL để tạo lần lượt các báo cáo và dùng ở phần nhiệm vụ data pipeline sau đó.
Về phần Build data pipelines, S cần một nơi lưu trữ dữ liệu tập trung data đến từ nhiều nguồn. FPT Intellinet đã tư vấn cho S dùng Azure data lake. Tại bước này, DE sẽ xây data pipelines để lấy data từ các bảng ở phần KPI validation ở các database tương ứng để đẩy chúng lên Azure data lake. Sau đó, DE sẽ làm sạch data và chuyển đổi những data theo một format lên data warehouses qua Azure bricks. Tất cả những dữ liệu này sẽ được Data Scientist đưa vào các thuật toán AI, Data mining… để lấy insight đắt giá nằm ẩn sâu dưới những data này và đưa chúng lên dashboard, hỗ trợ Ban lãnh đạo hoặc các phòng ban đưa ra quyết định trong kinh doanh – sản xuất.
Liên tục nâng cao chuyên môn, nghiệp vụ
Nhận định về nguồn lực DE tại FSOFT, anh Toàn cho biết FHN nói riêng và FSOFT nói chung đang ‘khát’ nhân sự. Song, rất khó để lấp đầy số lượng DE tại các dự án trong một sớm một chiều bởi rất hiếm kĩ sư đủ tiêu chuẩn để tham gia vào sân chơi bởi nó đòi hỏi, yêu cầu khắt khe về trình độ ngoại ngữ và chuyên môn, và đặc biệt là khi ngành Data Engineering ở Việt Nam còn khá mới.
Trước thực tế này, FHN.BU91 đã đưa gần như toàn bộ kĩ sư dữ liệu và các lập trình viên có nguyện vọng chuyển sang làm DE đăng ký vào khóa học Udacity DE nanodegree do FSOFT BOD tài trợ. Các kĩ sư sẽ được phân vào các batch tương ứng vào tháng 7, 9/2021 và 1/2022 để hoàn thành khóa học này. Đây là một trong những khóa học tốt nhất về DE trên thế giới hiện nay kéo dài trong 5 tháng (nếu học 1 tuần từ 5 đến 10 giờ).
Thông qua khóa học này, các kĩ sư dữ liệu sẽ nắm được vai trò, nhiệm vụ cụ thể của DE trong dự án và thực hành một dự án thực tế build data pipeline từ đầu đến cuối trên AWS. Với khóa học này, DE có thể dễ dàng tiếp cận với bất cứ dự án nào về dữ liệu. Ngoài ra, FHN. BU91 đang triển khai các buổi sharing về Data Engineering, đồng thời tổ chức các CoE nhằm tư vấn, hỗ trợ và training cho những lập trình viên có mong muốn chuyển sang ngành Data Engineering.
QueDT
