Xin chào, tôi là Hoa Huynh

Hệ thống giám sát trong khoang lái toàn diện xây dựng trên một camera fisheye NIR duy nhất, tuân thủ tiêu chuẩn Euro NCAP, và bổ sung các tính năng nâng cao độc quyền. Tích hợp tới tám mô hình thị giác máy tính học sâu (phát hiện đối tượng, phân loại ảnh, điểm mốc cơ thể 2D/3D, điểm mốc khuôn mặt, ước lượng hướng nhìn) vào một pipeline C/C++ triển khai trên các thiết bị System-on-Chip (Texas Instruments SK-TDA4VM/TDA4AEN, Samsung Exynos V920). Với vai trò Trưởng nhóm, phụ trách lộ trình kỹ thuật, phân bổ công việc, theo dõi mốc tiến độ, và trình diễn cho khách hàng.

Bản demo thuộc diện bảo mật theo thỏa thuận NDA với khách hàng — các số liệu trên đã được phê duyệt để công khai.

Pipeline ước lượng tư thế đầu thời gian thực sử dụng thị giác máy tính cổ điển (bộ giải PnP, góc Euler ZYX). Khôi phục đầy đủ ma trận quay và vector tịnh tiến cho góc pitch, yaw, roll từ ảnh đơn (monocular), được điều khiển bởi một mô hình điểm mốc khuôn mặt 2D tùy chỉnh và ổn định bằng bộ lọc Kalman mở rộng (Extended Kalman Filter) để làm mượt chuyển động và xử lý che khuất.

Giải pháp thay thế LiDAR bằng camera sử dụng ước lượng độ sâu tuyệt đối và hiệu chỉnh camera để tạo ra các đám mây điểm giả (pseudo point cloud) từ pixel ảnh. Hiển thị 3D thời gian thực bằng OpenGL và Open3D. Thiết kế một mô hình ước lượng độ sâu dạng encoder-decoder nhẹ dựa trên YOLOv8 với độ chính xác cạnh tranh với các phương pháp SOTA (NeWCRFs, PixelFormer) nhưng chỉ với một phần nhỏ số lượng tham số.

Phát hiện và ước lượng vị trí công nhân bằng một camera nhiệt (Boson LWIR) duy nhất. Kết hợp phát hiện đối tượng YOLOv5 với ước lượng độ sâu đơn ảnh (monocular) NeWCRFs. Là nhà phát triển đầu tiên trên dự án, xây dựng toàn bộ pipeline hiệu chỉnh: hiệu chỉnh camera, thu thập dữ liệu, và hiệu chỉnh Camera-LiDAR sử dụng LiDAR Ouster OS0. Bộ dữ liệu và mô hình độ sâu thu được đã được nộp với tên Team DepthSquad tại Thử thách Ước lượng Độ sâu Đơn ảnh lần thứ hai của CVPRW 2023 — 1 trong 8 bài nộp trên toàn thế giới (trong tổng số 28) được chấp nhận vì vượt qua baseline SOTA, vượt trội hơn trên các chỉ số độ chính xác dựa trên ảnh (MAE, RMSE, AbsRel).

Hệ thống chứng minh khái niệm (proof-of-concept) ghép nối đa camera thời gian thực cho ADAS, xây dựng bởi một nhà phát triển duy nhất phụ trách toàn bộ quy trình. Triển khai hai thuật toán ghép nối (đơn giản và nâng cao) bao gồm truyền dòng đầu vào, đăng ký tham số bộ đệm (cache-parameter), và tổng hợp toàn cảnh (panorama). Yêu cầu độ chồng lấn IoU trường nhìn (FoV) ≥ 30% giữa mỗi cặp camera để đối sánh đặc trưng tin cậy.

Phát hiện xem người lái xe có đang nhìn vào điện thoại hay không bằng cách kết hợp một mô hình phát hiện đối tượng với một mô hình ước lượng hướng nhìn. Sử dụng thuật toán giao nhau trường nhìn (FOV) dạng hình nón với ngưỡng độ tin cậy và số lượng có thể cấu hình. Hình học giao nhau bên dưới sau đó đã được tổng quát hóa thành một bộ công cụ độc lập (đường liên kết bên cạnh).

Cài đặt chính thức của thuật toán định vị xe-với-xe (vehicle-to-vehicle) ban đêm dựa trên thị giác lập thể từ công bố MDPI của tôi: đối sánh lập thể tăng cường gradient (gradient-boosted) cho tương ứng vùng đèn hậu, kết hợp với một giai đoạn đối sánh dựa trên mạng nơ-ron để liên kết đèn hậu trái/phải trong điều kiện giao thông đô thị.

Các mô phỏng xây dựng từ đầu, bao quát cả hai hướng đệ quy và theo lô trong ước lượng trạng thái cho robot trên các đa tạp (manifold) SO(3)/SE(3): tích hợp/tiền tích hợp IMU, theo dõi tư thế đám mây điểm (so sánh EKF, Invariant EKF, và bộ làm mượt Gauss-Newton theo lô), tối ưu hóa pose graph có vòng lặp khép kín (loop closure), và bundle adjustment đầy đủ (tinh chỉnh đồng thời tư thế camera và điểm mốc 3D, căn chỉnh Umeyama về ground truth). Mỗi phương pháp được cài đặt hai lần — toán đại số Lie NumPy tự viết tay, và qua thư viện lý thuyết Lie manif — cùng với một tập ghi chú lý thuyết đang được bổ sung dần.

Một bộ sưu tập được tuyển chọn các vision encoder (backbone) đã huấn luyện sẵn từ nhiều mô hình phát hiện và phân loại khác nhau, sẵn sàng sử dụng làm bộ trích xuất đặc trưng cho các tác vụ downstream như phân loại, phát hiện, ước lượng điểm mốc, phân đoạn, và ước lượng độ sâu.

Một bộ công cụ cá nhân ngày càng phát triển, được tái sử dụng qua nhiều dự án phát hiện và hiệu chỉnh: hiệu chỉnh camera fisheye và khử méo, phát hiện góc bàn cờ, chuyển đổi nhãn YOLO↔Pascal VOC, và trích xuất khung hình video để chuẩn bị dữ liệu.

Một bộ công cụ Python/OpenCV để ước lượng thông số nội tại của camera và loại bỏ méo ống kính, hỗ trợ cả mô hình fisheye và pinhole trên cảm biến RGB và nhiệt. Xử lý phát hiện bàn cờ ca-rô từ luồng trực tiếp hoặc ảnh theo lô, với ngưỡng chất lượng có thể cấu hình và báo cáo sai số tái chiếu (reprojection error).

Một bộ sưu tập các notebook hướng dẫn PyTorch, TensorFlow, và R cùng với bài tập CSC321 (Đại học Toronto), bao gồm xây dựng và huấn luyện mô hình, học chuyển giao (transfer learning), RNN/LSTM, autograd, và triển khai mô hình qua REST API.

Một công cụ phát hiện và làm mờ khuôn mặt cho tệp video. Backend C++ (FFMPEG + suy luận) với giao diện WinForms C# hỗ trợ kéo-thả đầu vào.

Một pipeline năm bước để phát hiện làn đường của xe tự thân từ đám mây điểm LiDAR: trích xuất điểm mặt đất, phát hiện đỉnh biểu đồ cường độ (intensity histogram), tìm kiếm làn đường bằng cửa sổ trượt, và khớp đường cong đa thức để xuất ra hệ số làn đường trái/phải.

Một giải pháp đăng ký đám mây điểm bằng C++ giúp căn chỉnh và hợp nhất nhiều đám mây điểm 3D vào một tham chiếu chủ thông qua phát hiện vùng notch và đối sánh tương ứng, trải qua các giai đoạn tiền xử lý, phát hiện, đăng ký, và hợp nhất.

Một bản cài đặt lại trò chơi Minesweeper kinh điển bằng C# — một bài tập thú vị về lập trình GUI và logic trò chơi.