Xiaomi Gateway 3: Перепрошивка и добавление в HA

xiaomi ftp не подключается. Не смотря на то, что практически все моменты касающиеся добавления этого шлюза в HA описаны на wiki компонента, в профильных телеграм-каналах регулярно возникают вопросы связанные с перепрошивкой и добавлением шлюза в HA. Здесь я попробую собрать в кучку основную информацию по этому процессу. Быстрый переход Общая информация по шлюзуВерсии прошивокПодключение шлюза к HAПрошивка через UARTв ОС […]

Xiaomi Gateway 3: Перепрошивка и добавление в HA

Не смотря на то, что практически все моменты касающиеся добавления этого шлюза в HA описаны на wiki компонента, в профильных телеграм-каналах регулярно возникают вопросы связанные с перепрошивкой и добавлением шлюза в HA.
Здесь я попробую собрать в кучку основную информацию по этому процессу.

Быстрый переход

Начать стоит с того, что здесь изложено исключительно мое видение вопроса и мой личный опыт, он может не совпадать с вашим мнением и вашими желаниями.

И помните, что ничего из изложенного ниже, было бы невозможно без энтузиастов — нашедших способ включения телнета на шлюзе, разработавших компонент для HA, собравших кастомные прошивки и написавших скрипты для их установки.
На все это нужно время и силы, если вы готовы их поддержать материально — сделайте это, всем будет приятно =)
Известные мне ссылки:
AlexxIT (автор компонента ХА): Coffee, YooMoney
Serrj_sv (обнаружил способ включения телнета и прочие очень полезные вещи): Coffee
icoderus (автор скрипта для прошивки шлюза под линукс и множества других вещей): Tinkoff

Так же огромная благодарность всем участникам канала @xiaomi_gw_v3_hack!

Внимание!

На текущий момент существует возможность включить telnet (и, соответственно, добавить шлюз в HA) на любой версии прошивки, полностью программно, без вскрытия шлюза.
О том как это сделать можно почитать здесь.

Общая информация

Шлюз Xiaomi Gateway 3 (lumi. gateway. mgl03), имеет на борту поддержку ZigBee 3, BLE, BT Mesh, WiFi, а так же HomeKit.
Основное «железо» шлюза представлено следующими чипами:

CPU + WiFi RTL8197FS
NAND Flash 128Mb
EFR32MG ZigBee 3
MHCB03P Bluetooth 5

Имеет 2 антенны-липучки для WiFi и разведенные на платах антенны для Bluetooth и ZigBee.
Существует возможность припаять внешние антенны для ZigBee и WiFi, а так же Ethernet разъем.

Бывает 2х версий — ZNDMWG0 3 LM (для Китайского рынка) и ZNDMWG0 2 LM (для Европейского).
Единственное отличие между ними в наличии у Китайца блока питания с китайской вилкой, у Европейца в комплекте блока питания нет.
С т. з. регионов Mi Home, дочерних ZigBee или BT устройств, а так же возможности установки прошивок — разницы нет.

Поддержка со стороны Home Assistant’а обеспечивается кастомным компонентом XiaomiGateway3 и зависит от версии прошивки устройства.

Прошивки

Список известных на текущий момент (версию можно узнать после добавления шлюза в Mi Home):

Можно добавить в HA не вскрывая шлюз
1.4.4_0003
1.4.5_0012
1.4.5_0016
1.4.6_0012 — рекомендована AlexxIT
1.4.6_0030
1.4.6_0043
1.4.7_0040
1.4.7_0063
1.4.7_0065
1.4.7_0115
1.4.7_0160 — последняя доступная

Важно!
На текущий момент для использования стоит рассматривать только две версии:
1.4.6_0012 (официальная или кастом) — Рекомендована автором компонента, т. к. вся разработка ведется под нее.
1.4.7_0160 ( только кастом ) — Последняя доступная к установке, для тех кто любит все самое свежее. У нее есть некоторые ограничения — через настройки компонента нельзя отключить «пищалку», а также в официальной версии нельзя заблокировать установку обновлений через Mi Home.
В целом же, на текущий момент, компонент работает со всеми версиями прошивок при наличии открытого телнета.

Добавление в HA

Благодаря автору интеграции, добавление шлюза максимально простой процесс. Все сводится к установке компонента (руками в папку custom_components или через HACS) и перезагрузке HA.
После этого в веб-интерфесе нужно добавить последовательно две интеграции «Xiaomi Gateway 3«:
Первая — для аккаунта Mi Cloud («Add Mi Cloud Account»).
Это нужно для того, что бы компонент мог сам получить miio-токен для шлюза и с его помощью включить на нем telnet.
Вторая — непосредственно для шлюза (выбрать нужный из выпадающего списка).

При добавлении второй интеграции (шлюза) важно правильно указать команду, которая откроет на нем telnet (строка «Команда для открытия Telnet»), без этого шлюз в HA работать не будет.
Если на шлюзе прошивка до 1.4.6_0030 включительно, можно ничего не менять и оставить значение по умолчанию.
Во всех остальных случаях необходимо заменить команду на следующую:

До 1.4.6_0030 (включительно):

После 1.4.6_0030:

После успешного добавления шлюза, не забудьте заблокировать обновление прошивки через Mi Home.
Без этого всегда есть шанс того, что шлюз обновит прошивку на новую, неподдерживаемую версию (автоматически или вы случайно согласитесь на обновление в приложении), в результате вы потеряете к нему доступ и потребуется вскрытие.

Прошивка через UART

Основная и самая подробная инструкция находится здесь (на английском языке).
У меня нет цели ее заменить, первоисточник всегда лучше =) я лишь хочу осветить основные моменты на великом и могучем, возможно это кому-то упростит жизнь.

Для начала шлюз необходимо открыть. На эту тему много инструкций, видео и фото, в т. ч. на wiki компонента.
Свой опыт я описал здесь.

После этого нужно подключить провода к диагностическим площадкам на плате шлюза.
Здесь есть разные варианты, как с пайкой, так и без.
Расположение и назначение контактов на плате (как основных, так и резервных) есть в оригинальной инструкции.
Для прошивки нужно использовать 3 контакта: Rx (прием), Tx (передача), Gnd (земля).

! Внимание!
Крайне осторожно отнеситесь к выбору USB-TTL (UART) адаптера, он должен работать в режиме 3.3V , т. е. напряжение между контактами Tx и Gnd адаптера должно равняться

3.3 Вольта.
Точно подойдут адаптеры с возможностью выбора рабочего напряжения перемычкой:

Если есть сомнения, лучше взять мультиметр и замерить напряжение перед подключением к шлюзу.

Вместо USB адаптера можно использовать Rspberry Pi, ESP* и прочие платы, имеющие на борту UART интерфейс c 3v3 логикой (напряжением 3.3V).
Т. к. у меня подобного железа нет, по вопросам их использования лучше всего обратиться к документации или на профильные ресурсы.

Подключите шлюз к USB адаптеру. При подключении обратите внимание на схему:

Rx адаптера — Tx шлюза
Tx адаптера — Rx шлюза
Gnd адаптера — Gnd шлюза

! Одна из самых распространенных ошибок — подключение Rx — Rx и Tx-Tx . Так делать НЕ нужно!

При наличии возможности, хорошей идеей будет проверить соединения «прозвонив» каждую линию тестером, от «ноги» адаптера до контактной площадки на плате шлюза.

Скачайте необходимые для прошивки файлы:
Bootloader (начните с 115200, при желании можно попробовать самый быстрый или медленный)
Выбор скорости зависит как от качества соединения шлюз-адаптер, так и от самого адаптера и его драйверов.
Firmware (1.4.6_0012_mod20210309 или 1.4.7_0160_mod20210309)
На мой взгляд нет ни малейшего смысла использовать оригинальные, поэтому ссылки даны на «кастом».

! Убедитесь что размер скачанных файлов соответствует размещенным на GitHub!
(bootloader

Можно приступать к прошивке.

Для ОС Windows (автор метода @serrj-sv):

• Скачайте и установите ПО TeraTerm (например, версия 4.105)
• Скачайте mgl03_uart_recovery. ttl (скрипт, автоматизирующий процесс прошивки для TeraTerm)
• Запустите TeraTerm и выберите Serial и Port, к которому подключен USB-TTL адаптер

• В меню Control нажмите Macro и выберите скачанный ранее файл mgl03_uart_recovery. ttl
• Следуйте инструкциям во всплывающих окнах

• После окончания процесса и полной загрузки шлюза нажмите 10 раз подряд на кнопку на его корпусе.
  Это сбросит все настройки шлюза к заводским (factory reset).

! Если при перепрошивке вы меняли ее версию (например 1.4.6 -> 1.4.7), вам стоит так же обновить и прошивку модуля Bluetooth.

Для ОС Linux (автор метода @CODeRUS):

• Убедитесь что у вас установлены утилиты expect, stty и sx (из пакета lrzsz)
• Скачайте mgl03_uart_recovery. expect (скрипт, автоматизирующий процесс прошивки)
• Поместите все 3 файла (bootloader, firmware, mgl03_uart_recovery. expect) в одну папку.
  Избегайте использования пробелов и русских имен.
  Не меняйте имена скачанных файлов.

• Убедитесь что у вашего пользователя есть права на доступ к устройству USB-TTL (чаще всего /dev/ttyUSB*)
  Добавьте себя в группу dialout.

Далее все операции необходимо проводить в папке с. expect скриптом.

• Сделайте mgl03_uart_recovery. expect исполняемым

• Запустите скрипт на исполнение и следуйте инструкциям на экране:

Определить каким устройством ttyUSB* является нужный вам адаптер можно например так:

• После окончания процесса и полной загрузки шлюза нажмите 10 раз подряд на кнопку на его корпусе.
  Это сбросит все настройки шлюза к заводским (factory reset).

! Если при перепрошивке вы меняли ее версию (например 1.4.6 -> 1.4.7), вам стоит так же обновить и прошивку модуля Bluetooth.

Прошивка через Telnet

Если вы счастливый обладатель шлюза с открытым телнетом (без разницы, стоковая прошивка или кастомная), у вас есть возможность менять прошивку шлюза без проводов, подключившись к шлюзу по telnet.
Для помощи в этом процессе есть прекрасная инструкция от автора кастомных прошивок — @zvldz. Прочтите ее.

В составе этой инструкции есть скрипт, который полностью автоматизирует процесс смены прошивки на одну из кастомных как вверх по версии, так и вниз. Плюс — обновляет прошивку модуля Bluetooth.
Вкратце, процесс можно описать следующими шагами:

• Подключитесь по протоколу telnet к шлюзу
  Логин: admin, пароля нет.
  Для Win можно использовать Putty, TeraTerm, встроенный в ОС telnet.

• Скопировать, вставить и запустить на шлюзе следующие команды:
  (можно навести курсор на строку ниже и нажать в правом верхнем углу «Copy»)

• После успешного запуска скрипта следуйте инструкциям на экране:

• После завершения процесса шлюз будет автоматически перезагружен, следите за сообщениями на экране.

При понижении версии прошивки (например с 1.4.7_* на 1.4.6_*) возможно потребуется выполнить сброс настроек шлюза к заводским (factory reset) — нажать 10 раз подряд кнопку на корпусе.
! Учтите, что это действие cбросит все настройки шлюза, удалит все биндинги устройств ZigBee (все устройства потребуется подключать снова), а так же потребует перенастройки интеграции в ХА (сменится токен miio).

Разное

Сброс настроек

• Зажать кнопку на корпусе шлюза на 10 секунд — сброс только сетевых настроек (WiFi, привязка к Mi Home).
  1.4.6_* — /usr/app/bin/network_reset. sh, 1.4.7_* — /bin/network_reset. sh
• 10 раз подряд коротко нажать на кнопку — полный сброс всех настроек (factory reset).
  1.4.6_* — /usr/app/bin/factory_reset. sh, 1.4.7_* — /bin/factory_reset. sh

Обновление firmware модуля Bluetooth

При смене прошивки шлюза обычным способом (через приложение Mi Home) в файле содержатся обновления в т. ч. и для чипов Bluetooth и ZigBee. Если же вы перепошивали шлюз через UART, все firmware чипов у вас остаются неизменными, такими, как они вышли с завода.
Но, благодаря энтузиастам разобравшим официальные прошивки на кусочки, у нас есть возможность обновить модуль Bluetooth вручную.

Для обновления Bluetooth стека вам потребуется ZIP-файл соответствующий вашей версии прошивки:

Скачайте и распакуйте архив. Из архива вам нужен файл full_ble_<fw_version>.gbl.
Файл нужно скопировать на шлюз, например с помощью FTP.
Включить FTP на шлюзе с кастомной прошивкой можно либо подключившись к нему по telnet выполнить:

Либо, с помощью компонента HA (интеграция шлюз — HA должна быть уже настроена).
Для этого в Панели разработчика перейти на закладку Службы (developer-tools/service).
Выбрать службу remote. send_command и объект вашего шлюза (вида remote.0x588e81fffedca899_pair),
в поле «Данные служб в формате YAML …» добавить строку command: ftp , нажать «вызвать службу«.

После этого можно подключатся к шлюзу по FTP (ftp://ip_address), например с помощью Total Commander или FileZilla.

Скопируйте файл full_ble_<fw_version>.gbl в директорию /tmp, подключитесь к шлюзу по telnet, и выполните в зависимости от версии вашей прошивки.

Следите за выводом на экран, пример успешного выполнения:

После завершения процесса перезагрузите шлюз.

Проверить текущую версию прошивки Bluetooth можно в файле /data/ble_info:

Значение параметра ncp_target_version соответствует версии прошивки (123 для шлюза 1.4.6_* и 125 для 1.4.7_*).

Включение Telnet с помощью miIO

23.02.2021 в Telegram канале Xiaomi Gateway v3 Hack был опубликован полностью программный способ включения telnet на любой версии прошивки шлюза.
Оригинал инструкции на английском можно найти здесь.
Включить telnet можно следующими способами:

1. Воспользоваться компонентом XiaomiGateway3 HA от AlexxIT.
Потребуется токен miIO (с ним поможет сам компонент, если предварительно добавить интеграцию для Mi Cloud’а (Add Mi Cloud Account)) и специальная команда:

Ее необходимо скопировать и вставить в поле «Команда для открытия Telnet» при добавлении шлюза:

2. С помощью miIO (без HA).
Для этого метода вам также потребуется токен, получить его можно многими способами, самый простой — воспользоваться модифицированным приложением Mi Home для Android (в приложении долгое нажатие на шлюз — переименовать (rename) — в открывшемся диалоге можно скопировать токен (Token)).
Помимо этого нужен php и реализация протокола miIO на php.

Команда для включения telnet (замените <ip> и <token> на ip-адрес и токен вашего шлюза):

! Если с первого раза не получилось, при следующих попытках обязательно поменяйте ID запроса — ‘<"id":123, .
Например, увеличивая значение на единицу (124, 125 и т. д.)

Пример выполнения на Linux:

На старых версиях прошивок (до 1.4.6_0030 включительно) существует возможность включить telnet с использованием другой miIO команды.
Данный способ был найден Serrj и опубликован на форуме HA.

Как можно подключить смартфон Xiaomi к компьютеру

Часто появляется необходимость подключить свой смартфон Xiaomi к компьютеру для передачи каких-либо данных. Для решения этой задачи существует несколько способов синхронизации — соединение по USB, Wi-Fi и Bluetooth. Разберем все максимально подробно и постараемся решить возможные проблемы, которые могут появиться у вас на пути.

Доступные способы подключения к компьютеру

Теперь разберем все эти варианты по порядку.

Забегая наперед отметим, что одним из самых популярных и надежных подключений является USB накопитель. Это простой провод, с большим и маленьким разъёмами с двух сторон. Сейчас все современные зарядные устройства могут разъединяться и превращаться в USB кабель. Такой способ считается самым быстрым по скорости передачи и очень надежным, но в то же время долгим, ведь телефоном в этом положении пользоваться нельзя, а для подключения постоянно нужно вставлять провода.

Процедура подключения к компьютеру или ноутбуку через USB кабель

1. Для подключения нужно найти провод (желательно использовать стандартный, но это необязательно) с USB накопителем и подключить его к компьютеру и смартфону Xiaomi соответственно. На каждом ПК есть разъёмы для флешки – в них мы и вставляем накопитель.
2. После подключения, на телефоне появится окошко «Зарядка через USB. Нажмите, чтобы настроить» , кликаем по этому уведомлению.
3. Из большого списка типов подключения выбираем «Передача файлов (MTP)» и ждем подключения. Если все прошло гладко, на компьютере появится новый диск (чаще всего он называется F). Это и будет нашим смартфоном. Если к Xiaomi подключена ещё и карта памяти, то дисков будет два: один — внутренняя память (F), другой – внешняя (G).

Распространенные проблемы и способы их решения

Метод с USB надежный, но иногда становится проблематично его реализовать. После подключения может возникнуть проблема несовместимости кабеля и компьютера. Это происходит по нескольким причинам:

• Кабель USB поврежден;
• Устарели драйвера на компьютере;
• На смартфоне Сяоми выключена откладка по USB.

Как решить проблему с поврежденным USB приемником?

Попробуйте вставить конец кабеля в заднюю часть системного блока либо на другую сторону ноутбука, это может помочь в случае, если приемник поврежден.

На каждом персональном компьютере с Windows есть по крайней мере 2 места для флешки, найдите их и по очереди воткните во все. Если один из них принял телефон и в моем компьютере появился соответствующих диск, значит этот разъем рабочий.

Как обновить драйвера в системе Windows?

Для обновления драйверов зайдите в меню «Устройства и принтеры» , для этого сделайте следующее:

• На Windows ниже 8 введите в пуске «Принтеры» и откройте высветившееся меню;
• На Windows 8 и 10 введите в пуске «Принтеры» , зайдите в меню «Принтеры и сканеры» , пролистайте вниз и кликните по ссылке «Устройства и принтеры» в отделе сопутствующих параметров;
• Для любой версии. Откройте панель управления, затем выберете «Мелкие значки» вверху справа и среди перечня служб найдите «Устройства и принтеры» .

Откроется окно, где будут указаны все устройства, подключенные к ПК. Если Xiaomi был успешно подключен через накопитель, то он появится в этом списке. Кликните по названию своего смартфона правой кнопкой мыши и выберете «Свойства» . Перейдите во вкладку «Оборудование» вверху, и нажмите «Свойства» . В верхнем меню откройте «Драйвера» . В этом меню можно посмотреть сведения о драйвере, обновить его, откатить и так далее. Обновляйте драйвер, если эта кнопка доступна. В случае если «Обновить драйвер» неактивна, то либо нового драйвера не существует либо компания производитель не выпускает усовершенствованную версию. В таком случае этот метод не поможет. Для обновления выбираем «Обновить драйвер» и в открывшемся окне кликаем по «Автоматический поиск обновленных драйверов» , далее система сама установит компонент.

Как включить откладку по USB на смартфоне?

Иногда именно этот метод помогает.

Зайдите в режим разработчика в настройках Xiaomi (чтобы разблокировать этот режим, откройте «О телефоне» в настройках и кликните 5 раз по номере сборке) и среди всех настроек активируйте «Откладка по USB» . После этого попробуйте снова подключится, должно сработать.

Почему до сих пор не подключается смартфон через кабель?

Если вы проделали все советы, но ничего так и не сработало, значит, увы, либо сам провод поврежден, либо все кабели. Проверните ту же махинацию с новым кабелем или на другом компьютере. Не отчаивайтесь, есть ещё пару методов, которые могут вам подойти!

Как подключить по Wi-FI

Этот способ очень простой и понятный. Для его реализации у вас должен быть роутер и сеть Wi-Fi. Но перед непосредственным подключением, установим необходимую программу на смартфон Xiaomi, а именно «FTP сервер» . Она есть в Play Market и доступна совершенно бесплатно по этой ссылке.

1. Скачиваем её и запускаем. На главном экране красуется большая красная кнопка – жмем по ней.
2. Теперь она зеленая, а под ней появился адрес. Этот адрес пишем в адресной строке любой папки на компьютере.

Подключение через Bluetooth

Bluetooth есть не на многих компьютерах, это пишется по сути для ноутбуков, ведь именно на них и есть Блютуз. Его можно увидеть в пуске справа по соответствующей иконке (либо в пуске пишите «Bluetooth» и в этом меню добавляйте подключение).

Кликаем по ней правой кнопкой мыши, выбираем «Открыть параметры» , затем в «Параметры» ставим галочку на «Разрешить устройствам Bluetooth обнаруживать это устройство» . Далее в «Совместное использование» активируем «Разрешить для удаленных устройств поиск» и выбираем путь, по которому будут сохраняться полученные файлы. Теперь на Xiaomi включаем обнаружение в настройках Bluetooth. Возвращаемся к компьютеру, на котором по тому же значку открываем «Показать устройства Bluetooth» , в окне кликаем по названию смартфона правой кнопкой и выбираем «Управление» . Теперь вы можете управлять гаджетом через это меню.

Отправка файла по Блютузу происходит как всегда: выбираете файл, отправляете по Bluetooth на имя компьютера/Xiaomi и подтверждаете процедуру.