Chủ động cập nhật công nghệ mới là kỹ năng cần có của Data Engineer

“Khối lượng dữ liệu cần xử lí của Data Engineer (DE) có khi lên tới 100 triệu record/ngày. Mỗi giai đoạn, hệ thống lại sử dụng một loại công cụ khác nhau để xử lí dữ liệu. Nếu không chủ động cập nhật công nghệ mới, DE sẽ gặp nhiều trở ngại trong việc giải quyết bài toán dữ liệu của mình”, bạn Đức Dương (GAM) chia sẻ sau nhiều năm làm việc trong ngành DE.

Hành trình đi tìm giấc mơ DE

Dương tốt nghiệp chuyên ngành Khoa học Máy tính tại Đại học Khoa học Tự nhiên TP. Hồ Chí Minh. Giảng đường đại học cho Dương những kiến thức nền tảng về lập trình phần mềm và phần cứng cùng các kỹ năng cơ bản của một lập trình viên. “Thời điểm đó, giáo trình chủ yếu phân bổ kiến thức nền IT. Mình nhớ có thời điểm, sinh viên được tiếp cận một số học phần về Machine Learning. Thời gian làm quen tuy ít ỏi nhưng đã xây dựng cho mình niềm đam mê với ngành khoa học dữ liệu”, chàng DE 9x chia sẻ.

Ra trường, Dương thử sức mình với lĩnh vực xây dựng hệ thống web. Dù làm đúng ngành song bạn vẫn không từ bỏ ước mơ DE. “Thời điểm đó, ngành xây dựng hệ thống web khá phổ biến, gần như bão hòa, ai đã từng học IT đều có thể làm được. Mình kỳ vọng bản thân có thể làm một điều gì đó thật mới mẻ. Đúng lúc đó, tìm kiếm được chương trình liên thông Thạc sỹ Khoa học Dữ liệu (Data Science) tại Pháp, mình quyết định gác lại mọi thứ để đi du học và theo đuổi ngành mình yêu thích”, Dương bộc bạch.

Hai năm tu luyện ở xứ người, bên cạnh các khóa học về DE và Data Analytics (DA), Dương còn được làm quen với ngành Khoa học dữ liệu chuyên sâu – Data Scientist (DS). Kiến thức và kỹ năng tích góp trong suốt quá trình học tập tại Pháp giúp Dương có cái nhìn đa chiều hơn về nhóm ngành thú vị này và đặc biệt hào hứng với việc áp dụng model Machine Learning vào giải quyết các bài toán dữ liệu thực tế.

“Nếu lập trình viên làm bạn với những dòng code thì DE/DA làm quen với các loại dữ liệu. Thời gian thực tập, mình được trao nhiệm vụ viết model giải quyết bài toán tìm kiếm khu vực có chứa mỏ dầu. Công đoạn xử lí dữ liệu tuy mất nhiều thời gian nhưng khi nhìn ngắm thành quả lại rất phấn khích”, Dương chia sẻ.

“Mối lương duyên” DE cùng FSOFT

Tháng 9/2019, sau khi trở về Việt Nam, Dương tìm hiểu cơ hội việc làm Khoa học dữ liệu và được biết FSOFT đang tuyển dụng nhóm ngành này. Chàng trai 9x nhanh chóng gia nhập công ty và hiện là một trong những thành viên xây dựng hệ thống dữ liệu cho khách hàng DELL (Mỹ) trên nền tảng Microsoft Azure.

Theo quan điểm của Dương, DE như một ngành tiền đề, giúp đỡ cho công việc của DA. Người làm DE đóng vai trò xử lí dữ liệu thô phức tạp, thu thập cắt gọn để tạo mẫu dữ liệu chuẩn đẹp đúng như yêu cầu của DA hoặc khách hàng. DA sẽ sử dụng những dữ liệu đã được cấu trúc để làm báo cáo cho khách hàng. Thông qua các báo cáo, khách hàng sẽ trích xuất được phần thông tin họ cần biết. Ngoài ra, DA sẽ sử dụng báo cáo để nhúng vào những model Machine Learning, giải quyết bài toán dữ liệu họ cần xử lí.

Công việc của Dương liên quan đến xử lí dữ liệu lớn (Big Data). Hệ thống của DELL đã được đơn vị GAM hỗ trợ xây dựng trong vòng 3 năm, hiện đã đến giai đoạn bảo trì. Mỗi ngày, đội dự án của Dương phải xử lí khối lượng dữ liệu lên đến 100 triệu record. Hệ thống tự động xử lí những thông tin mới được bổ sung, cập nhật báo cáo, gửi cho DELL để họ xây dựng chiến lược chăm sóc khách hàng phù hợp, tương ứng với những dữ liệu phía dự án đã thu thập được. Ngoài ra, dự án đang hỗ trợ khách hàng tối ưu hóa hệ thống, rút ngắn thời gian chạy để tận dụng tối đa công năng.

“Trong từng giai đoạn phát triển hệ thống, phía DE sẽ sử dụng nhiều loại công cụ khác nhau để phân tích và phân loại dữ liệu. DE cần chủ động tư duy liên tục, tìm hiểu/nghiên cứu công cụ mới để bắt kịp xu hướng phát triển của thế giới và giải quyết bài toán dữ liệu tốt nhất. Ngoài ra, vấn đề về ranh giới bảo mật dữ liệu cũng được thế giới chú ý hơn. Cụ thể, việc chuyển đổi luồng dữ liệu giữa Mỹ và các nước châu Âu được ràng buộc bởi nhiều đạo luật. Nếu không cẩn trọng trong khâu bảo mật thông tin dữ liệu, khách hàng có thể hầu tòa. Do vậy, quan điểm bảo mật thông tin cần được các thành viên xây dựng chắc chắn. Đôi khi dự án đã gần đạt được tiến độ, song do vướng phải đạo luật ranh giới bảo mật dữ liệu, toàn bộ cấu trúc hệ thống phải chuyển đổi hoàn toàn, mất rất nhiều công sức bóc tách dữ liệu”, Dương chia sẻ một kỷ niệm “đau thương” trong nghề DE.

Cơ hội không giới hạn cho những thành viên đam mê Khoa học dữ liệu

Để gia nhập đội DE/DA/DS, theo Dương, các bạn trẻ cần chủ động thời gian tìm tòi và đọc thêm các tài liệu về công cụ xử lí dữ liệu mới. Bởi lẽ, để tiết kiệm chi phí và thời gian, các dự án về Processing Data/Big Data sẽ ưu tiên xây dựng hệ thống xử lí dữ liệu trên nền tảng Cloud thông qua các công cụ hỗ trợ của Google, Microsoft và Amazon thay vì cách làm thủ công bằng open source tool. Việc thi và đạt được các chứng chỉ của Google, Microsoft, Amazon vừa là cách bổ sung kiến thức, vừa tạo ưu thế khi ứng tuyển vị trí DE/DA không chỉ tại Việt Nam mà cả nước ngoài. Nếu không có nền tảng về Database, tiếng Anh chuyên ngành và hiểu về công cụ của “ba ông lớn” trên, DE sẽ mất rất nhiều thời gian để ngâm cứu, làm quen và vận dụng công cụ vào các giai đoạn phù hợp.

Để giúp thành viên mới nhanh chóng nhập cuộc, team của Dương đã cùng nhau sáng tạo chương trình đào tạo kỹ năng riêng tại dự án. Dương cùng các cộng sự tận dụng server có sẵn, tự xây dựng open source trên hệ thống công ty để thành viên mới luyện tập kỹ năng, trau dồi kiến thức về DE/DA/DS. Thông qua việc đào tạo này, chỉ sau 2-3 tuần, các “newbie” đã vững vàng và có thể làm việc trực tiếp tại dự án. “Ngoài chương trình này, thành viên mới có thể tham gia nhiều khóa học của công ty, hoặc tận dụng nguồn kiến thức trên Udemy để tăng thêm hiểu biết về nghề”, Dương cho biết.

Theo Dương, cơ hội tiếp cận ngành Khoa học dữ liệu không giới hạn chức danh, giới tính, chuyên ngành… Nam giới sẽ phù hợp với ngành DE, cần tư duy phân tích tổng hợp tốt, phân bổ dữ liệu với từng loại tool xử lí cụ thể. Nữ giới phù hợp với ngành DA, cần sự khéo léo, cẩn trọng, sắp xếp báo cáo chính xác, khớp với yêu cầu của khách hàng. “Hiện nay, trong đơn vị mình có nhiều dự án cần tuyển vị trí DE. Với những bạn đã có hiểu biết cơ bản về Khoa học dữ liệu, chỉ cần một mentor dẫn dắt các bạn tìm hiểu quy trình dự án, cách xử lí dữ liệu lớn, điện toán đám mây… Bạn chủ động trau dồi kỹ năng, kiến thức hàng ngày thì chỉ sau một thời gian ngắn sẽ quen việc và có thể tự xây dựng hệ thống một mình”, Dương cho hay.

Trước bối cảnh “khát” nhân lực DE/DA như hiện tại, GAM nói riêng và các đơn vị khác trong FSOFT nói chung đều khuyến khích nhân viên upskill. Việc nhân sự sở hữu nhiều năng lực được xem là chìa khóa để FSOFT tham chiến trong đa dạng các dự án. Do đó, Dev có nguyện vọng chuyển ngạch sang DE/DA đều có thể đề xuất với quản lý trực tiếp để được hướng dẫn lộ trình phù hợp nhất.

FSOFT cũng đang chi hàng chục tỷ đồng cho các chuyên gia dữ liệu gồm DA/DE/DS để tham gia chương trình DX Upskilling Program trên nền tảng đào tạo trực tuyến chuyên sâu hàng đầu thế giới – Udacity. Đây là bước đi dài hạn của FSOFT trong việc đầu tư cho nguồn lực chất lượng cao phục vụ chiến lược Chuyển đổi số.

Nhật Tuyền