AI agent tự động hóa Android: từ mô tả đến macro

MAS Agent là AI agent tự động hóa Android bên trong Macro Automation Studio (MAS). Bạn mô tả tác vụ bằng lời thường, và AI agent tự động hóa Android này khám phá ứng dụng trên thiết bị, dựng bản đồ các màn hình, chụp các nút và số liệu nó cần từ màn hình thật, rồi viết một macro Python MAS chuẩn với ảnh mẫu và vùng OCR. Sau đó nó kiểm chứng macro bằng 3 lần chạy kiểm chứng trên cùng thiết bị và giao lại cho bạn. Từ đó, macro chạy lại mà không có mô hình nào trong vòng lặp, với 0 credit.

Trước khi bắt đầu

• MAS đã cài và đăng nhập, dùng bản thử miễn phí hoặc gói trả phí. Xem Cài đặt.
• Một thiết bị để agent điều khiển: giả lập đang chạy đã thêm trong Nhóm thiết bị, hoặc thiết bị cloud ở trạng thái Sẵn sàng.
• Ứng dụng bạn muốn tự động hóa đã cài trên thiết bị đó và đã qua màn hình đăng nhập.
• Credit AI trong tài khoản. Trang Thanh toán giải thích cách credit hoạt động.

Bắt đầu một phiên tự động hóa Android với agent

1. Mở Agent ở thanh bên.
2. Chọn Thiết bị. Danh sách có hai nhóm, Giả lập local và Thiết bị cloud. Nhấn Làm mới thiết bị nếu thiếu giả lập bạn vừa khởi động.
3. Chọn Nhà cung cấp và Mô hình. Mô hình cloud chạy trên máy chủ MAS và tính vào credit AI của bạn.
4. Gõ tác vụ vào ô nhập, ví dụ “Nhận thưởng hằng ngày và đóng mọi popup”, rồi nhấn Viết macro.

Phiên chạy ở đâu tùy vào thiết bị:

• Giả lập local: MAS khởi động bộ máy agent trên máy bạn (“Đang khởi động bộ máy agent…”). Bộ máy nói chuyện với giả lập qua adb, nên giả lập và ứng dụng phải mở.
• Thiết bị cloud: phiên bắt đầu trên máy chủ MAS ngay cạnh thiết bị (“Đang chạy trên máy chủ của chúng tôi”). Bạn có thể đóng ứng dụng và quay lại sau; cuộc trò chuyện được lưu trong tài khoản của bạn. Thiết bị cloud luôn dùng Mô hình cloud.

Mỗi thiết bị chạy một agent tại một thời điểm. Nếu một cuộc trò chuyện khác đang bận trên cùng thiết bị, MAS đưa ra Đi tới cuộc trò chuyện đó hoặc Dừng nó, tiếp tục ở đây.

Các giai đoạn: cách agent tạo macro từ mô tả

Tab Tổng quan hiển thị giai đoạn hiện tại, và danh sách Tiến độ theo dõi nó bằng lời thường.

Khi một thẻ câu hỏi đang mở, giai đoạn hiển thị WAITING_FOR_USER và đồng hồ phiên tạm dừng. Việc sửa bị giới hạn bởi tiến bộ, không phải số lần: khi cùng một lỗi lặp lại trên mã không đổi, kiểm chứng tạm dừng cho đến khi agent đưa ra chẩn đoán mới hoặc hỏi bạn. Một chốt chặn cứng 25 chu kỳ sửa kết thúc phiên nếu không thì sẽ lặp mãi.

Câu hỏi, kế hoạch và điều hướng

Agent hỏi thay vì đoán. Khi màn hình có thể hiểu theo hai cách, hoặc một bước sẽ tiêu tốn hay phá hủy thứ gì đó, nó dừng lại và đặt câu hỏi cho bạn.

• Thẻ câu hỏi có tiêu đề Agent cần bạn trả lời chứa một đến bốn câu hỏi. Chọn một phương án hoặc gõ câu trả lời riêng, rồi nhấn Gửi câu trả lời.
• Kế hoạch là hợp đồng của phiên: mục tiêu, vòng lặp chính và cách kiểm tra thành công. Mọi chi tiêu trong game cần một giới hạn bạn duyệt trước khi agent tiêu bất cứ thứ gì trong ứng dụng.
• Để đổi hướng giữa chừng, gõ vào ô soạn trong lúc nó làm việc và nhấn Điều hướng. Tin nhắn đi vào quyết định tiếp theo của agent.
• Dừng kết thúc phiên ngay lập tức. Công việc được lưu; gửi tin nhắn tiếp trong cùng cuộc trò chuyện để tiếp tục.

Ngân sách và credit

Bảng Ngân sách hiển thị số bước, credit (hoặc chi phí), token và chi tiêu trong game của phiên. Ngân sách 0 nghĩa là không giới hạn, và đó là mặc định trên mọi trục: số dư credit của bạn mới là giới hạn thật. Khi số dư về 0, MAS từ chối các lời gọi mô hình tiếp theo và phiên dừng với những gì đã có.

Credit chỉ bị tiêu khi agent khám phá, viết và kiểm thử. Macro đã hoàn thành chạy với 0 credit trên mọi thiết bị. Ô Credit trên trang Agent cập nhật trong lúc phiên chạy, và Nạp thêm credit mở trang Gói đăng ký. Cơ chế nằm ở trang Thanh toán; mức giá ở trang giá.

Bản đồ menu

Bản đồ là trí nhớ của agent về một ứng dụng: mọi màn hình nó đã thấy và các nút nối chúng với nhau. Bản đồ tự lớn lên trong lúc agent làm việc, và tab Bản đồ hiển thị nó dưới dạng đồ thị với số màn hình, chuyển cảnh, cú chạm và nút chưa khám phá.

• Lập bản đồ ứng dụng này đi qua các menu một cách có chủ đích (khoảng 8 phút); Quét sâu mở các menu sâu hơn (khoảng 20 phút). Cả hai chỉ điều hướng: agent lùi ra khỏi bất cứ thứ gì bán hàng.
• Chia sẻ bản đồ của tôi gộp các lượt quét của bạn với những tài khoản khác đang lập bản đồ cùng ứng dụng. Đóng góp được giữ riêng tư cho đến khi một tài khoản khác xác nhận, và bạn có thể rút lại trong Đóng góp của tôi. Khi tắt chia sẻ, bản đồ của bạn vẫn giúp các phiên của chính bạn.

Thêm vào Macro của tôi

Khi thẻ kết quả hiển thị Xong, nhấn Thêm vào Macro của tôi. MAS tạo dự án trong thư mục dự án của bạn, tải mọi ảnh mẫu lên Thư viện ảnh trong thư mục agent/, viết lại các id ảnh trong mã, và khởi tạo git. Cuộc trò chuyện sau đó đưa ra Mở trong IDE, Chạy thử trên cùng thiết bị, và một thẻ lịch (Một lần, Hằng ngày hoặc Hằng tuần, rồi Tạo lịch). Các lần chạy theo lịch dùng tham số đã lưu trên thẻ thiết bị.

Để đổi macro về sau, chọn nó trong mục Cải thiện ở danh sách không gian làm việc và mô tả điều cần thêm hoặc đổi. Agent bắt đầu từ dự án hiện có và cập nhật tại chỗ.

Dự án chứa gì

task.yaml ghi tên tác vụ, câu mô tả, gói ứng dụng, thiết bị, điều kiện tiên quyết khi vào (một ảnh mẫu phải thấy được lúc bắt đầu), thời gian chờ tối đa, script_runs: 3, tham số kiểm thử và các phép kiểm tra. Các loại kiểm tra là exit_code, template, ocr_region, storage, adb_shell, element_visible và element_text, mỗi loại có when: active, idempotent hoặc always. Kiểm chứng là kiểm thử nhanh: vòng lặp chính bị giới hạn ở hai lượt. Runtime của Studio không bao giờ đọc task.yaml.

Sau khi cài, bạn chỉnh như mọi dự án khác: luồng trong src/app.py với đầy đủ SDK, ảnh mẫu trong Asset Lab và Thư viện ảnh, vùng OCR trong mã, và biểu mẫu tham số trong UI Builder. Tour Studio bao quát trình soạn thảo, các lần chạy và trình gỡ lỗi.

AI tự động chơi game mobile và mọi thao tác màn hình khác

MAS Agent xử lý các thao tác dựa trên màn hình trên giả lập và thiết bị cloud: các popup và gián đoạn nó gặp khi khám phá, bộ đếm và đồng hồ đọc bằng OCR để macro chờ hoặc bỏ qua, và cùng một thao tác trên cả nhóm thiết bị theo lịch. Nó hỏi bạn về những quyết định không đọc được từ màn hình, về ngân sách trước khi bắt đầu, và trước bất cứ thứ gì phá hủy hay mua sắm.

Nó chỉ làm việc từ màn hình. Nó không bao giờ sửa APK hay đọc bộ nhớ của game, và nó cần một thiết bị mà nó nhìn thấy được. Không có công cụ tự động hóa nào an toàn 100%, vì vậy hãy tự động hóa một cách có trách nhiệm và theo quyết định của riêng bạn.

Cùng agent này có thể gọi từ Claude Code, Cursor, Codex và các client khác qua máy chủ MCP, nơi cung cấp author_macro, get_agent_session, answer_agent_session, stop_agent_session và get_map.

Khắc phục sự cố

Agent đặt câu hỏi và chờ

Phiên tạm dừng có chủ đích và đồng hồ đã dừng, nên không tiêu gì. Mở tab Trò chuyện, trả lời thẻ và nhấn Gửi câu trả lời. Thẻ đánh dấu “Câu hỏi đã hết hạn” thuộc về một phiên đã kết thúc; hãy trả lời trong ô soạn, và phần tiếp theo bắt đầu với toàn bộ cuộc trò chuyện.

Kiểm chứng cứ thất bại

Đọc phép kiểm tra thất bại trong cuộc trò chuyện: một ảnh mẫu không bao giờ hiện, một mẫu OCR không khớp, hoặc một giá trị lưu trữ mà macro chưa từng lưu. Điều hướng agent bằng những gì bạn biết, hoặc trả lời câu hỏi của nó. Nếu giả lập bị sập, agent dừng sau năm lỗi thiết bị liên tiếp; khởi động lại giả lập và nhắn vào cuộc trò chuyện để tiếp tục.

Đã chạm ngân sách

Phiên kết thúc vì một ngân sách bạn đặt đã dùng hết, hoặc vì số dư credit về 0. Công việc được lưu. Nạp thêm credit từ trang Gói đăng ký, hoặc nâng ngân sách, rồi gửi tin nhắn tiếp trong cùng cuộc trò chuyện.