{"id":1241,"date":"2023-08-13T01:06:34","date_gmt":"2023-08-13T01:06:34","guid":{"rendered":"https:\/\/www.gptmain.news\/?p=1241"},"modified":"2023-08-13T01:06:34","modified_gmt":"2023-08-13T01:06:34","slug":"tensorflow-extended-tfx-%d0%b2-%d0%b4%d0%b5%d0%b9%d1%81%d1%82%d0%b2%d0%b8%d0%b8-%d1%81%d0%be%d0%b7%d0%b4%d0%b0%d0%b9%d1%82%d0%b5-%d0%b3%d0%be%d1%82%d0%be%d0%b2%d1%8b%d0%b9-%d0%ba%d0%be%d0%bd%d0%b2","status":"publish","type":"post","link":"https:\/\/gptmain.news\/?p=1241","title":{"rendered":"Tensorflow Extended (TFX) \u0432 \u0434\u0435\u0439\u0441\u0442\u0432\u0438\u0438: \u0441\u043e\u0437\u0434\u0430\u0439\u0442\u0435 \u0433\u043e\u0442\u043e\u0432\u044b\u0439 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f\n | GPTMain News"},"content":{"rendered":"
\n

\u0412 \u044d\u0442\u043e\u043c \u0440\u0443\u043a\u043e\u0432\u043e\u0434\u0441\u0442\u0432\u0435 \u043c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c TensorFlow Extended (TFX). TFX \u0431\u044b\u043b \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u043d Google \u043a\u0430\u043a \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0441\u043d\u0430\u044f \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u0430 \u0434\u043b\u044f \u0440\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u043e\u0432 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u0417\u0434\u0435\u0441\u044c \u043c\u044b \u0443\u0432\u0438\u0434\u0438\u043c, \u043a\u0430\u043a \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u043f\u043e\u0441\u0442\u0440\u043e\u0438\u0442\u044c \u0435\u0433\u043e \u0441 \u043d\u0443\u043b\u044f. \u041c\u044b \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0438 \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0445\u0432\u0430\u0442\u044b\u0432\u0430\u044e\u0442 \u0432\u0435\u0441\u044c \u0436\u0438\u0437\u043d\u0435\u043d\u043d\u044b\u0439 \u0446\u0438\u043a\u043b \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f. \u041e\u0442 \u0438\u0441\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u043d\u0438\u0439 \u0438 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043e\u043a \u0434\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0438 \u0440\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044f.<\/p>\n

\u041d\u043e \u0441\u043d\u0430\u0447\u0430\u043b\u0430 \u0434\u0430\u0432\u0430\u0439\u0442\u0435 \u043d\u0430\u0447\u043d\u0435\u043c \u0441 \u043d\u0435\u043a\u043e\u0442\u043e\u0440\u044b\u0445 \u043e\u0441\u043d\u043e\u0432\u043d\u044b\u0445 \u043f\u043e\u043d\u044f\u0442\u0438\u0439 \u0438 \u0442\u0435\u0440\u043c\u0438\u043d\u043e\u043b\u043e\u0433\u0438\u0438, \u0447\u0442\u043e\u0431\u044b \u0443\u0431\u0435\u0434\u0438\u0442\u044c\u0441\u044f, \u0447\u0442\u043e \u043c\u044b \u0432\u0441\u0435 \u043d\u0430 \u043e\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u0430\u043d\u0438\u0446\u0435.<\/p>\n

\n

\u042f \u043d\u0430\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u043e \u0440\u0435\u043a\u043e\u043c\u0435\u043d\u0434\u0443\u044e \u043a\u0443\u0440\u0441 ML Pipelines on Google Cloud \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b Google Cloud \u0438\u043b\u0438 Advanced Deployment Scenarios with TensorFlow \u043e\u0442 DeepLearning.ai, \u0447\u0442\u043e\u0431\u044b \u0443\u043b\u0443\u0447\u0448\u0438\u0442\u044c \u0441\u0432\u043e\u0438 \u043d\u0430\u0432\u044b\u043a\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e \u0446\u0435\u043b\u043e\u0441\u0442\u043d\u043e\u0433\u043e \u043a\u0443\u0440\u0441\u0430.<\/p>\n<\/blockquote>\n

\u0413\u043b\u043e\u0441\u0441\u0430\u0440\u0438\u0439 TFX<\/h2>\n

\u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b<\/strong> \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u0441\u0442\u0440\u043e\u0438\u0442\u0435\u043b\u044c\u043d\u044b\u043c\u0438 \u0431\u043b\u043e\u043a\u0430\u043c\u0438 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u0430 \u0438 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u0432\u0441\u044e \u0440\u0430\u0431\u043e\u0442\u0443. \u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u044b \u0431\u0435\u0437 \u0438\u0437\u043c\u0435\u043d\u0435\u043d\u0438\u0439 \u0438\u043b\u0438 \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u0437\u0430\u043c\u0435\u043d\u0435\u043d\u044b \u043d\u0430\u0448\u0438\u043c \u0441\u043e\u0431\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u043a\u043e\u0434\u043e\u043c.<\/p>\n

\u0425\u0440\u0430\u043d\u0438\u043b\u0438\u0449\u0435 \u043c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0445<\/strong> \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0435\u0434\u0438\u043d\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u043c \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u043c \u0434\u043e\u0441\u0442\u043e\u0432\u0435\u0440\u043d\u043e\u0439 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0434\u043b\u044f \u0432\u0441\u0435\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432. \u041e\u043d \u0441\u043e\u0434\u0435\u0440\u0436\u0438\u0442 3 \u0432\u0435\u0449\u0438 \u0432 \u043e\u0441\u043d\u043e\u0432\u043d\u043e\u043c:<\/p>\n

    \n
  • \n

    \u0410\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b \u0438 \u0438\u0445 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0430: \u044d\u0442\u043e \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043e\u0431\u0443\u0447\u0435\u043d\u043d\u044b\u0435 \u043c\u043e\u0434\u0435\u043b\u0438, \u0434\u0430\u043d\u043d\u044b\u0435, \u043c\u0435\u0442\u0440\u0438\u043a\u0438<\/p>\n<\/li>\n

  • \n

    \u0417\u0430\u043f\u0438\u0441\u0438 \u043e\u0431 \u0438\u0441\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u0438 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u043e\u0432<\/p>\n<\/li>\n

  • \n

    \u041c\u0435\u0442\u0430\u0434\u0430\u043d\u043d\u044b\u0435 \u043e \u0440\u0430\u0431\u043e\u0447\u0435\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0435 (\u043f\u043e\u0440\u044f\u0434\u043e\u043a \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432, \u0432\u0445\u043e\u0434\u044b, \u0432\u044b\u0445\u043e\u0434\u044b \u0438 \u0442. \u0434.)<\/p>\n<\/li>\n<\/ul>\n

    \u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 TFX <\/strong>\u2014 \u044d\u0442\u043e \u043f\u0435\u0440\u0435\u043d\u043e\u0441\u0438\u043c\u0430\u044f \u0440\u0435\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0440\u0430\u0431\u043e\u0447\u0435\u0433\u043e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0441\u043e\u0441\u0442\u043e\u044f\u0449\u0430\u044f \u0438\u0437 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u043e\u0432 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u0438 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u043e\u0432.<\/p>\n

    \u041e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u044b<\/strong> \u2014 \u044d\u0442\u043e \u0441\u0438\u0441\u0442\u0435\u043c\u044b, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u044b TFX. \u041f\u043e \u0441\u0443\u0442\u0438, \u044d\u0442\u043e \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b \u0434\u043b\u044f \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u044f, \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u0440\u0430\u0431\u043e\u0447\u0438\u0445 \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u043e\u0432. \u041e\u0431\u044b\u0447\u043d\u043e \u043e\u043d\u0438 \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u044f\u044e\u0442 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 \u0432 \u0432\u0438\u0434\u0435 \u043d\u0430\u043f\u0440\u0430\u0432\u043b\u0435\u043d\u043d\u043e\u0433\u043e \u0430\u0446\u0438\u043a\u043b\u0438\u0447\u0435\u0441\u043a\u043e\u0433\u043e \u0433\u0440\u0430\u0444\u0430 \u0438 \u0441\u043b\u0435\u0434\u044f\u0442 \u0437\u0430 \u0442\u0435\u043c, \u0447\u0442\u043e\u0431\u044b \u043a\u0430\u0436\u0434\u043e\u0435 \u0437\u0430\u0434\u0430\u043d\u0438\u0435 (\u0438\u043b\u0438 \u0440\u0430\u0431\u043e\u0447\u0438\u0439 \u043f\u0440\u043e\u0446\u0435\u0441\u0441) \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u043b\u043e\u0441\u044c \u0432 \u043d\u0443\u0436\u043d\u043e\u0435 \u0432\u0440\u0435\u043c\u044f \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c \u0432\u0445\u043e\u0434\u043e\u043c.<\/p>\n

    \u041f\u0440\u0438\u043c\u0435\u0440\u0430\u043c\u0438 \u043f\u043e\u043f\u0443\u043b\u044f\u0440\u043d\u044b\u0445 \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u043e\u0432, \u0440\u0430\u0431\u043e\u0442\u0430\u044e\u0449\u0438\u0445 \u0441 TFX, \u044f\u0432\u043b\u044f\u044e\u0442\u0441\u044f \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u044b Apache Airflow, Apache Beam, Kubeflow.<\/p>\n

    \u041e\u0441\u043d\u043e\u0432\u044b\u0432\u0430\u044f\u0441\u044c \u043d\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u044d\u0442\u0430\u043f\u0430\u0445 \u0436\u0438\u0437\u043d\u0435\u043d\u043d\u043e\u0433\u043e \u0446\u0438\u043a\u043b\u0430 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, TFX \u043f\u0440\u0435\u0434\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442 \u043d\u0430\u0431\u043e\u0440 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u0441\u043e \u0441\u0442\u0430\u043d\u0434\u0430\u0440\u0442\u043d\u043e\u0439 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c\u044e. \u042d\u0442\u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043c\u043e\u0433\u0443\u0442 \u0431\u044b\u0442\u044c \u043f\u0435\u0440\u0435\u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u044b. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0437\u0430\u0445\u043e\u0442\u0435\u0442\u044c \u0440\u0430\u0441\u0448\u0438\u0440\u0438\u0442\u044c \u0438\u0445 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c. \u0418\u0445 \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0437\u0430\u043c\u0435\u043d\u0438\u0442\u044c \u0441\u043e\u0432\u0435\u0440\u0448\u0435\u043d\u043d\u043e \u043d\u043e\u0432\u044b\u043c\u0438. \u041e\u0434\u043d\u0430\u043a\u043e \u0432 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0435 \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u044b\u0435 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u044b \u043f\u043e\u043c\u043e\u0433\u0443\u0442 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u0443 \u0438\u0437 \u043d\u0430\u0441 \u043f\u0440\u043e\u0439\u0442\u0438 \u0434\u043e\u043b\u0433\u0438\u0439 \u043f\u0443\u0442\u044c.<\/p>\n

    \u0414\u0430\u0432\u0430\u0439\u0442\u0435 \u043a\u0440\u0430\u0442\u043a\u043e \u0440\u0430\u0441\u0441\u043c\u043e\u0442\u0440\u0438\u043c \u0438\u0445 \u0432\u0441\u0435, \u043d\u0430\u0447\u0438\u043d\u0430\u044f \u0441 \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0438 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u0437\u0430\u043a\u0430\u043d\u0447\u0438\u0432\u0430\u044f \u0440\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u0435\u043c. \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u043c\u044b \u043d\u0435 \u0431\u0443\u0434\u0435\u043c \u0443\u0433\u043b\u0443\u0431\u043b\u044f\u0442\u044c\u0441\u044f \u0432 \u043a\u043e\u0434, \u043f\u043e\u0442\u043e\u043c\u0443 \u0447\u0442\u043e \u0435\u0441\u0442\u044c \u043c\u043d\u043e\u0433\u043e \u043d\u043e\u0432\u044b\u0445 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a \u0438 \u043f\u0430\u043a\u0435\u0442\u043e\u0432, \u0441 \u043a\u043e\u0442\u043e\u0440\u044b\u043c\u0438 \u0431\u043e\u043b\u044c\u0448\u0438\u043d\u0441\u0442\u0432\u043e \u043d\u0435\u0437\u043d\u0430\u043a\u043e\u043c\u043e.<\/p>\n

    \u0412\u0435\u0441\u044c \u0441\u043c\u044b\u0441\u043b \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e\u0431\u044b \u0434\u0430\u0442\u044c \u0432\u0430\u043c \u043e\u0431\u0437\u043e\u0440 TFX \u0438 \u0435\u0433\u043e \u043c\u043e\u0434\u0443\u043b\u0435\u0439 \u0438 \u043f\u043e\u043c\u043e\u0447\u044c \u0432\u0430\u043c \u043f\u043e\u043d\u044f\u0442\u044c, \u0437\u0430\u0447\u0435\u043c \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u044b \u0442\u0430\u043a\u0438\u0435 \u043a\u043e\u043c\u043f\u043b\u0435\u043a\u0441\u043d\u044b\u0435 \u0440\u0435\u0448\u0435\u043d\u0438\u044f.<\/p>\n

    \u041f\u0440\u0438\u0435\u043c \u0434\u0430\u043d\u043d\u044b\u0445<\/h2>\n

    \u041f\u0435\u0440\u0432\u044b\u043c \u044d\u0442\u0430\u043f\u043e\u043c \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0438 ML \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0437\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u0434\u0430\u043d\u043d\u044b\u0445. ExampleGen<\/code> \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u043f\u0440\u0438\u043d\u0438\u043c\u0430\u0435\u0442 \u0434\u0430\u043d\u043d\u044b\u0435 \u0432 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 TFX, \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u044b\u0432\u0430\u044f \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0435 \u0442\u0438\u043f\u044b \u0434\u0430\u043d\u043d\u044b\u0445 \u0432 tf.Record<\/code> \u0438\u043b\u0438 tf.Example<\/code> (\u043e\u0431\u0430 \u043f\u043e\u0434\u0434\u0435\u0440\u0436\u0438\u0432\u0430\u044e\u0442\u0441\u044f TFX). \u041f\u0440\u0438\u043c\u0435\u0440 \u043a\u043e\u0434\u0430 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u043d\u0438\u0436\u0435:<\/p>\n

    from<\/span> tfx<\/span>.<\/span>proto <\/span>import<\/span> example_gen_pb2<\/span><\/p>
    from<\/span> tfx<\/span>.<\/span>components <\/span>import<\/span> ImportExampleGen<\/span><\/p>
    input_config <\/span>=<\/span> example_gen_pb2<\/span>.<\/span>Input<\/span>(<\/span>splits<\/span>=<\/span>[<\/span><\/p>
         example_gen_pb2<\/span>.<\/span>Input<\/span>.<\/span>Split<\/span>(<\/span>name<\/span>=<\/span>'train'<\/span>,<\/span> pattern<\/span>=<\/span>'train\/*'<\/span>)<\/span>,<\/span><\/p>
         example_gen_pb2<\/span>.<\/span>Input<\/span>.<\/span>Split<\/span>(<\/span>name<\/span>=<\/span>'eval'<\/span>,<\/span> pattern<\/span>=<\/span>'test\/*'<\/span>)<\/span><\/p>
     <\/span>]<\/span>)<\/span><\/p>
    example_gen <\/span>=<\/span> ImportExampleGen<\/span>(<\/span><\/p>
         input_base<\/span>=<\/span>data_root<\/span>,<\/span> input_config<\/span>=<\/span>input_config<\/span>)<\/span><\/p><\/pre>\n
    ImportExampleGen<\/code>  \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0441\u043e\u0431\u044b\u043c \u0442\u0438\u043f\u043e\u043c ExampleGen<\/code> \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u043f\u0443\u0442\u044c \u043a \u0434\u0430\u043d\u043d\u044b\u043c \u0438 \u043a\u043e\u043d\u0444\u0438\u0433\u0443\u0440\u0430\u0446\u0438\u044e \u0442\u043e\u0433\u043e, \u043a\u0430\u043a \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0442\u044c \u043d\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435.  \u0412 \u044d\u0442\u043e\u043c \u0441\u043b\u0443\u0447\u0430\u0435 \u043c\u044b \u0440\u0430\u0437\u0434\u0435\u043b\u044f\u0435\u043c \u0438\u0445 \u043d\u0430 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0435 \u0438 \u0442\u0435\u0441\u0442\u043e\u0432\u044b\u0435 \u043d\u0430\u0431\u043e\u0440\u044b \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n
    \u0412\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/h2>\n
    \u0421\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u0448\u0430\u0433\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0438\u0437\u0443\u0447\u0435\u043d\u0438\u0435 \u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u0438\u0445 \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0430\u0446\u0438\u044f \u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043d\u0430 \u043d\u0430\u043b\u0438\u0447\u0438\u0435 \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u044b\u0445 \u043d\u0435\u0442\u043e\u0447\u043d\u043e\u0441\u0442\u0435\u0439 \u0438 \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0439.<\/p>\n
     StatisticsGen<\/code> \u041a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u0433\u0435\u043d\u0435\u0440\u0438\u0440\u0443\u0435\u0442 \u043d\u0430\u0431\u043e\u0440 \u043f\u043e\u043b\u0435\u0437\u043d\u044b\u0445 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445, \u043e\u043f\u0438\u0441\u044b\u0432\u0430\u044e\u0449\u0438\u0445 \u043d\u0430\u0448\u0435 \u0440\u0430\u0441\u043f\u0440\u0435\u0434\u0435\u043b\u0435\u043d\u0438\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.  \u041a\u0430\u043a \u0432\u0438\u0434\u0438\u0442\u0435, \u043e\u043d \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0432\u044b\u0432\u043e\u0434 ExampleGen<\/code><\/p>\n
    from<\/span> tfx<\/span>.<\/span>components <\/span>import<\/span> StatisticsGen<\/span><\/p>
    statistics_gen <\/span>=<\/span> StatisticsGen<\/span>(<\/span>examples<\/span>=<\/span>example_gen<\/span>.<\/span>outputs<\/span>[<\/span>'examples'<\/span>]<\/span>)<\/span><\/p><\/pre>\n
    Tensorflow Data Validation \u2014 \u044d\u0442\u043e \u0432\u0441\u0442\u0440\u043e\u0435\u043d\u043d\u0430\u044f \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 TFX, \u043a\u043e\u0442\u043e\u0440\u0430\u044f, \u0441\u0440\u0435\u0434\u0438 \u043f\u0440\u043e\u0447\u0435\u0433\u043e, \u043c\u043e\u0436\u0435\u0442 \u043f\u043e\u043c\u043e\u0447\u044c \u043d\u0430\u043c \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u043a\u0443, \u0441\u043e\u0437\u0434\u0430\u043d\u043d\u0443\u044e StatisticsGen<\/code>.  \u042d\u0442\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u043e \u0432\u043d\u0443\u0442\u0440\u0438<\/strong> \u043a StatisticsGen<\/code> \u043d\u043e \u0442\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u0435\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043a\u0430\u043a \u0441\u0430\u043c\u043e\u0441\u0442\u043e\u044f\u0442\u0435\u043b\u044c\u043d\u044b\u0439 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442.<\/p>\n
    import<\/span> tensorflow_data_validation <\/span>as<\/span> tfdv<\/span><\/p>
    tfdv<\/span>.<\/span>visualize_statistics<\/span>(<\/span>stats<\/span>)<\/span><\/p><\/pre>\n
    <\/p>\n
        
    \n  \"\u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430<\/p>\n
        <\/span><\/p>\n
    \u042d\u0442\u0430 \u0436\u0435 \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u0435\u0442\u0441\u044f SchemaGen<\/code>, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0441\u0433\u0435\u043d\u0435\u0440\u0438\u0440\u043e\u0432\u0430\u043b \u043f\u0440\u0438\u043c\u0438\u0442\u0438\u0432\u043d\u0443\u044e \u0441\u0445\u0435\u043c\u0443 \u0434\u043b\u044f \u043d\u0430\u0448\u0438\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.  \u042d\u0442\u043e, \u043a\u043e\u043d\u0435\u0447\u043d\u043e, \u043c\u043e\u0436\u043d\u043e \u0441\u043a\u043e\u0440\u0440\u0435\u043a\u0442\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u043d\u0430\u0448\u0438\u0445 \u0437\u043d\u0430\u043d\u0438\u0439 \u0432 \u043f\u0440\u0435\u0434\u043c\u0435\u0442\u043d\u043e\u0439 \u043e\u0431\u043b\u0430\u0441\u0442\u0438, \u043d\u043e \u044d\u0442\u043e \u0434\u043e\u0441\u0442\u043e\u0439\u043d\u0430\u044f \u043e\u0442\u043f\u0440\u0430\u0432\u043d\u0430\u044f \u0442\u043e\u0447\u043a\u0430.<\/p>\n
    from<\/span> tfx<\/span>.<\/span>components <\/span>import<\/span> SchemaGen<\/span><\/p>
    schema_gen <\/span>=<\/span> SchemaGen<\/span>(<\/span> statistics<\/span>=<\/span>statistics_gen<\/span>.<\/span>outputs<\/span>[<\/span>'statistics'<\/span>]<\/span>,<\/span> infer_feature_shape<\/span>=<\/span>True<\/span>)<\/span><\/p><\/pre>\n
    \u0421\u0445\u0435\u043c\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u043d\u0443\u044e \u0441\u0442\u0430\u0442\u0438\u043a\u0443 \u0442\u0435\u043f\u0435\u0440\u044c \u043c\u043e\u0436\u043d\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c \u0434\u043b\u044f \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u0442\u043e\u0439 \u0438\u043b\u0438 \u0438\u043d\u043e\u0439 \u0444\u043e\u0440\u043c\u044b \u0432\u0430\u043b\u0438\u0434\u0430\u0446\u0438\u044f \u0434\u0430\u043d\u043d\u044b\u0445<\/strong> \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u043e\u0431\u043d\u0430\u0440\u0443\u0436\u0438\u0432\u0430\u0442\u044c \u0432\u044b\u0431\u0440\u043e\u0441\u044b, \u0430\u043d\u043e\u043c\u0430\u043b\u0438\u0438 \u0438 \u043e\u0448\u0438\u0431\u043a\u0438 \u0432 \u043d\u0430\u0448\u0435\u043c \u043d\u0430\u0431\u043e\u0440\u0435 \u0434\u0430\u043d\u043d\u044b\u0445.<\/p>\n
    from<\/span> tfx<\/span>.<\/span>components <\/span>import<\/span> ExampleValidator<\/span><\/p>
    example_validator <\/span>=<\/span> ExampleValidator<\/span>(<\/span><\/p>
          statistics<\/span>=<\/span>statistics_gen<\/span>.<\/span>outputs<\/span>[<\/span>'statistics'<\/span>]<\/span>,<\/span><\/p>
          schema<\/span>=<\/span>schema_gen<\/span>.<\/span>outputs<\/span>[<\/span>'schema'<\/span>]<\/span>)<\/span><\/p><\/pre>\n
    \u0420\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0439<\/h2>\n
    \u041e\u0434\u043d\u0438\u043c \u0438\u0437 \u043d\u0430\u0438\u0431\u043e\u043b\u0435\u0435 \u0432\u0430\u0436\u043d\u044b\u0445 \u0448\u0430\u0433\u043e\u0432 \u0432 \u043b\u044e\u0431\u043e\u043c \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u0435 \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430 \u0444\u0443\u043d\u043a\u0446\u0438\u0439.  \u041f\u043e \u0441\u0443\u0442\u0438, \u043c\u044b \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u043c \u043d\u0430\u0448\u0438 \u0434\u0430\u043d\u043d\u044b\u0435, \u0447\u0442\u043e\u0431\u044b \u0438\u0445 \u043c\u043e\u0436\u043d\u043e \u0431\u044b\u043b\u043e \u043f\u0435\u0440\u0435\u0434\u0430\u0442\u044c \u0432 \u043d\u0430\u0448\u0443 \u043c\u043e\u0434\u0435\u043b\u044c.  TFX \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u0435\u0442 Transform<\/code> \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u0438 tensorflow_transform<\/code> \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u043e\u043c\u043e\u0436\u0435\u0442 \u043d\u0430\u043c \u0441 \u0437\u0430\u0434\u0430\u0447\u0435\u0439.  \u0428\u0430\u0433 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u0435\u0442 \u0431\u044b\u0442\u044c \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c:<\/p>\n
    from<\/span> tfx<\/span>.<\/span>components <\/span>import<\/span> Transform<\/span><\/p>
     transform <\/span>=<\/span> Transform<\/span>(<\/span><\/p>
          examples<\/span>=<\/span>example_gen<\/span>.<\/span>outputs<\/span>[<\/span>'examples'<\/span>]<\/span>,<\/span><\/p>
          schema<\/span>=<\/span>schema_gen<\/span>.<\/span>outputs<\/span>[<\/span>'schema'<\/span>]<\/span>,<\/span><\/p>
          module_file<\/span>=<\/span>module_file<\/span>)<\/span><\/p><\/pre>\n
    \u041d\u043e \u044d\u0442\u043e \u043d\u0435 \u0432\u0441\u044f \u0438\u0441\u0442\u043e\u0440\u0438\u044f.<\/p>\n
    \u041d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u043a\u0430\u043a-\u0442\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u0442\u044c \u043d\u0430\u0448\u0443 \u0444\u0443\u043d\u043a\u0446\u0438\u043e\u043d\u0430\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u043f\u0440\u0435\u0434\u0432\u0430\u0440\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0439 \u043e\u0431\u0440\u0430\u0431\u043e\u0442\u043a\u0438.  \u0412\u043e\u0442 \u0433\u0434\u0435 \u0430\u0440\u0433\u0443\u043c\u0435\u043d\u0442 module_file<\/code> \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442. \u0421\u0430\u043c\u044b\u0439 \u043e\u0431\u044b\u0447\u043d\u044b\u0439 \u0441\u043f\u043e\u0441\u043e\u0431 \u0441\u0434\u0435\u043b\u0430\u0442\u044c \u044d\u0442\u043e \u2014 \u0438\u043c\u0435\u0442\u044c \u0434\u0440\u0443\u0433\u043e\u0439 \u0444\u0430\u0439\u043b \u0441\u043e \u0432\u0441\u0435\u043c\u0438 \u043d\u0430\u0448\u0438\u043c\u0438 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u043d\u0438\u044f\u043c\u0438.  \u041f\u043e \u0441\u0443\u0442\u0438, \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c preprocessing_fn<\/code> \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0442\u043e\u0447\u043a\u043e\u0439 \u0432\u0445\u043e\u0434\u0430 \u0434\u043b\u044f TFX.<\/p>\n
    \u0412\u043e\u0442 \u043e\u0431\u0440\u0430\u0437\u0435\u0446, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u044f \u043f\u043e\u0437\u0430\u0438\u043c\u0441\u0442\u0432\u043e\u0432\u0430\u043b \u0438\u0437 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 TFX:<\/p>\n
    def<\/span> <\/span>preprocessing_fn<\/span>(<\/span>inputs<\/span>)<\/span>:<\/span><\/p>
      <\/span>\"\"\"tf.transform's callback function for preprocessing inputs.\"\"\"<\/span><\/p>
      outputs <\/span>=<\/span> <\/span>{<\/span>}<\/span><\/p>
       image_features <\/span>=<\/span> tf<\/span>.<\/span>map_fn<\/span>(<\/span><\/p>
          <\/span>lambda<\/span> x<\/span>:<\/span> tf<\/span>.<\/span>io<\/span>.<\/span>decode_png<\/span>(<\/span>x<\/span>[<\/span>0<\/span>]<\/span>,<\/span> channels<\/span>=<\/span>3<\/span>)<\/span>,<\/span><\/p>
          inputs<\/span>[<\/span>_IMAGE_KEY<\/span>]<\/span>,<\/span><\/p>
          dtype<\/span>=<\/span>tf<\/span>.<\/span>uint8<\/span>)<\/span><\/p>
      image_features <\/span>=<\/span> tf<\/span>.<\/span>cast<\/span>(<\/span>image_features<\/span>,<\/span> tf<\/span>.<\/span>float32<\/span>)<\/span><\/p>
      image_features <\/span>=<\/span> tf<\/span>.<\/span>image<\/span>.<\/span>resize<\/span>(<\/span>image_features<\/span>,<\/span> <\/span>[<\/span>224<\/span>,<\/span> <\/span>224<\/span>]<\/span>)<\/span><\/p>
      image_features <\/span>=<\/span> tf<\/span>.<\/span>keras<\/span>.<\/span>applications<\/span>.<\/span>mobilenet<\/span>.<\/span>preprocess_input<\/span>(<\/span><\/p>
          image_features<\/span>)<\/span><\/p>
      outputs<\/span>[<\/span>_transformed_name<\/span>(<\/span>_IMAGE_KEY<\/span>)<\/span>]<\/span> <\/span>=<\/span> image_features<\/span><\/p>
      outputs<\/span>[<\/span>_transformed_name<\/span>(<\/span>_LABEL_KEY<\/span>)<\/span>]<\/span> <\/span>=<\/span> inputs<\/span>[<\/span>_LABEL_KEY<\/span>]<\/span><\/p>
      <\/span>return<\/span> outputs<\/span><\/p><\/pre>\n
    \u041e\u0431\u044b\u0447\u043d\u044b\u0439 \u043a\u043e\u0434 Tensorflow \u0438 Keras, \u043a\u0430\u043a \u0432\u044b \u043c\u043e\u0436\u0435\u0442\u0435 \u0432\u0438\u0434\u0435\u0442\u044c.<\/p>\n
    \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438<\/h2>\n
    \u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435 \u043c\u043e\u0434\u0435\u043b\u0438 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u0436\u0438\u0437\u043d\u0435\u043d\u043d\u043e \u0432\u0430\u0436\u043d\u043e\u0439 \u0447\u0430\u0441\u0442\u044c\u044e \u043f\u0440\u043e\u0446\u0435\u0441\u0441\u0430 \u0438, \u0432 \u043e\u0442\u043b\u0438\u0447\u0438\u0435 \u043e\u0442 \u0442\u043e\u0433\u043e, \u0447\u0442\u043e \u0441\u0447\u0438\u0442\u0430\u044e\u0442 \u043c\u043d\u043e\u0433\u0438\u0435 \u043b\u044e\u0434\u0438, \u043d\u0435 \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043e\u0434\u043d\u043e\u0440\u0430\u0437\u043e\u0432\u043e\u0439 \u043e\u043f\u0435\u0440\u0430\u0446\u0438\u0435\u0439.<\/p>\n
    \n
    \u041c\u043e\u0434\u0435\u043b\u0438 \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e \u043f\u043e\u0441\u0442\u043e\u044f\u043d\u043d\u043e \u043f\u0435\u0440\u0435\u043e\u0431\u0443\u0447\u0430\u0442\u044c, \u0447\u0442\u043e\u0431\u044b \u043e\u043d\u0438 \u043e\u0441\u0442\u0430\u0432\u0430\u043b\u0438\u0441\u044c \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u043c\u0438 \u0438 \u043e\u0431\u0435\u0441\u043f\u0435\u0447\u0438\u0432\u0430\u043b\u0438 \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u0443\u044e \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c \u0440\u0435\u0437\u0443\u043b\u044c\u0442\u0430\u0442\u043e\u0432.<\/p>\n<\/blockquote>\n
    from<\/span> tfx<\/span>.<\/span>dsl<\/span>.<\/span>components<\/span>.<\/span>base <\/span>import<\/span> executor_spec<\/span><\/p>
    from<\/span> tfx<\/span>.<\/span>proto <\/span>import<\/span> trainer_pb2<\/span><\/p>
    from<\/span> tfx<\/span>.<\/span>components<\/span>.<\/span>trainer<\/span>.<\/span>executor <\/span>import<\/span> GenericExecutor<\/span><\/p>
    from<\/span> tfx<\/span>.<\/span>components <\/span>import<\/span> Trainer<\/span><\/p>
     trainer <\/span>=<\/span> Trainer<\/span>(<\/span><\/p>
          module_file<\/span>=<\/span>module_file<\/span>,<\/span><\/p>
          custom_executor_spec<\/span>=<\/span>executor_spec<\/span>.<\/span>ExecutorClassSpec<\/span>(<\/span>GenericExecutor<\/span>)<\/span>,<\/span><\/p>
          examples<\/span>=<\/span>transform<\/span>.<\/span>outputs<\/span>[<\/span>'transformed_examples'<\/span>]<\/span>,<\/span><\/p>
          transform_graph<\/span>=<\/span>transform<\/span>.<\/span>outputs<\/span>[<\/span>'transform_graph'<\/span>]<\/span>,<\/span><\/p>
          schema<\/span>=<\/span>schema_gen<\/span>.<\/span>outputs<\/span>[<\/span>'schema'<\/span>]<\/span>,<\/span><\/p>
          train_args<\/span>=<\/span>trainer_pb2<\/span>.<\/span>TrainArgs<\/span>(<\/span>num_steps<\/span>=<\/span>160<\/span>)<\/span>,<\/span><\/p>
          eval_args<\/span>=<\/span>trainer_pb2<\/span>.<\/span>EvalArgs<\/span>(<\/span>num_steps<\/span>=<\/span>4<\/span>)<\/span>,<\/span><\/p>
          custom_config<\/span>=<\/span>{<\/span>'labels_path'<\/span>:<\/span> labels_path<\/span>}<\/span>)<\/span><\/p><\/pre>\n
    \u041a\u0430\u043a \u0438 \u043f\u0440\u0435\u0436\u0434\u0435, \u043b\u043e\u0433\u0438\u043a\u0430 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u043d\u0430\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u0432 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u043e\u043c \u0444\u0430\u0439\u043b\u0435 \u043c\u043e\u0434\u0443\u043b\u044f.  \u041d\u0430 \u044d\u0442\u043e\u0442 \u0440\u0430\u0437 \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u0440\u0435\u0430\u043b\u0438\u0437\u043e\u0432\u0430\u0442\u044c run_fn<\/code> \u0444\u0443\u043d\u043a\u0446\u0438\u044f, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043e\u0431\u044b\u0447\u043d\u043e \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442 \u043c\u043e\u0434\u0435\u043b\u044c \u0438 \u0446\u0438\u043a\u043b \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.  \u0421\u043d\u043e\u0432\u0430 \u0437\u0430\u0438\u043c\u0441\u0442\u0432\u043e\u0432\u0430\u043d\u043e \u0438\u0437 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u044b\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438 \u043e\u0447\u0438\u0449\u0435\u043d\u043e \u043e\u0442 \u043b\u0438\u0448\u043d\u0435\u0433\u043e, \u0432\u043e\u0442 \u043f\u0440\u0438\u043c\u0435\u0440:<\/p>\n
    import<\/span> tensorflow_transform <\/span>as<\/span> tft<\/span><\/p>
    def<\/span> <\/span>run_fn<\/span>(<\/span>fn_args<\/span>:<\/span> FnArgs<\/span>)<\/span>:<\/span><\/p>
      tf_transform_output <\/span>=<\/span> tft<\/span>.<\/span>TFTransformOutput<\/span>(<\/span>fn_args<\/span>.<\/span>transform_output<\/span>)<\/span><\/p>
      train_dataset <\/span>=<\/span> _input_fn<\/span>(<\/span><\/p>
          fn_args<\/span>.<\/span>train_files<\/span>,<\/span><\/p>
          tf_transform_output<\/span>,<\/span><\/p>
          is_train<\/span>=<\/span>True<\/span>,<\/span><\/p>
          batch_size<\/span>=<\/span>_TRAIN_BATCH_SIZE<\/span>)<\/span><\/p>
      eval_dataset <\/span>=<\/span> _input_fn<\/span>(<\/span><\/p>
          fn_args<\/span>.<\/span>eval_files<\/span>,<\/span><\/p>
          tf_transform_output<\/span>,<\/span><\/p>
          is_train<\/span>=<\/span>False<\/span>,<\/span><\/p>
          batch_size<\/span>=<\/span>_EVAL_BATCH_SIZE<\/span>)<\/span><\/p>
      model<\/span>,<\/span> base_model <\/span>=<\/span> _build_keras_model<\/span>(<\/span>)<\/span><\/p>
      model<\/span>.<\/span>compile<\/span>(<\/span><\/p>
          loss<\/span>=<\/span>'sparse_categorical_crossentropy'<\/span>,<\/span><\/p>
          optimizer<\/span>=<\/span>tf<\/span>.<\/span>keras<\/span>.<\/span>optimizers<\/span>.<\/span>RMSprop<\/span>(<\/span>lr<\/span>=<\/span>_FINETUNE_LEARNING_RATE<\/span>)<\/span>,<\/span><\/p>
          metrics<\/span>=<\/span>[<\/span>'sparse_categorical_accuracy'<\/span>]<\/span>)<\/span><\/p>
      model<\/span>.<\/span>summary<\/span>(<\/span>print_fn<\/span>=<\/span>absl<\/span>.<\/span>logging<\/span>.<\/span>info<\/span>)<\/span><\/p>
      model<\/span>.<\/span>fit<\/span>(<\/span><\/p>
          train_dataset<\/span>,<\/span><\/p>
          epochs<\/span>=<\/span>_CLASSIFIER_EPOCHS<\/span>,<\/span><\/p>
          steps_per_epoch<\/span>=<\/span>steps_per_epoch<\/span>,<\/span><\/p>
          validation_data<\/span>=<\/span>eval_dataset<\/span>,<\/span><\/p>
          validation_steps<\/span>=<\/span>fn_args<\/span>.<\/span>eval_steps<\/span>,<\/span><\/p>
          callbacks<\/span>=<\/span>[<\/span>tensorboard_callback<\/span>]<\/span>)<\/span><\/p><\/pre>\n
    \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e _build_keras_model<\/code> \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u0432\u0430\u043d\u0438\u043b\u044c tf.keras.Sequential<\/code> \u043c\u043e\u0434\u0435\u043b\u044c, \u043f\u043e\u043a\u0430 input_fn<\/code> \u0432\u043e\u0437\u0432\u0440\u0430\u0449\u0430\u0435\u0442 \u043f\u0430\u043a\u0435\u0442\u043d\u044b\u0439 \u043d\u0430\u0431\u043e\u0440 \u043e\u0431\u0443\u0447\u0430\u044e\u0449\u0438\u0445 \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u0432 \u0438 \u043c\u0435\u0442\u043e\u043a.<\/p>\n
    \u041f\u043e\u043b\u043d\u044b\u0439 \u043a\u043e\u0434 \u043c\u043e\u0436\u043d\u043e \u043d\u0430\u0439\u0442\u0438 \u0432 \u043e\u0444\u0438\u0446\u0438\u0430\u043b\u044c\u043d\u043e\u043c \u0440\u0435\u043f\u043e\u0437\u0438\u0442\u043e\u0440\u0438\u0438 git.  \u0422\u0430\u043a\u0436\u0435 \u0443\u0431\u0435\u0434\u0438\u0442\u0435\u0441\u044c, \u0447\u0442\u043e \u0441 \u043f\u0440\u0430\u0432\u0438\u043b\u044c\u043d\u044b\u043c\u0438 \u043e\u0431\u0440\u0430\u0442\u043d\u044b\u043c\u0438 \u0432\u044b\u0437\u043e\u0432\u0430\u043c\u0438 \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0432\u043e\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u0442\u044c\u0441\u044f \u043f\u0440\u0435\u0438\u043c\u0443\u0449\u0435\u0441\u0442\u0432\u0430\u043c\u0438 Tensorfboard<\/code> \u0432\u0438\u0437\u0443\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0446\u0435\u0441\u0441 \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n
    \u041f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438<\/h2>\n
    \u0414\u0430\u043b\u0435\u0435 \u043d\u0430 \u043e\u0447\u0435\u0440\u0435\u0434\u0438 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438.  \u041a\u0430\u043a \u0442\u043e\u043b\u044c\u043a\u043e \u043c\u044b \u043e\u0431\u0443\u0447\u0438\u043c \u043c\u043e\u0434\u0435\u043b\u044c, \u043c\u044b \u0434\u043e\u043b\u0436\u043d\u044b \u043e\u0446\u0435\u043d\u0438\u0442\u044c \u0435\u0435 \u0438 \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u0435\u0435 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0438\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c, \u043f\u0440\u0435\u0436\u0434\u0435 \u0447\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u0435\u0435 \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u043e.  TensorFlow Model Analysis (TFMA) \u2014 \u044d\u0442\u043e \u0431\u0438\u0431\u043b\u0438\u043e\u0442\u0435\u043a\u0430 \u0434\u043b\u044f \u044d\u0442\u043e\u0439 \u043a\u043e\u043d\u043a\u0440\u0435\u0442\u043d\u043e\u0439 \u0432\u0435\u0449\u0438.  \u041e\u0431\u0440\u0430\u0442\u0438\u0442\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435, \u0447\u0442\u043e \u044d\u0442\u0430 \u0444\u0430\u043a\u0442\u0438\u0447\u0435\u0441\u043a\u0430\u044f \u043e\u0446\u0435\u043d\u043a\u0430 \u043c\u043e\u0434\u0435\u043b\u0438 \u0443\u0436\u0435 \u043f\u0440\u043e\u0438\u0437\u043e\u0448\u043b\u0430 \u0432\u043e \u0432\u0440\u0435\u043c\u044f \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.<\/p>\n
    \n
    \u042d\u0442\u043e\u0442 \u0448\u0430\u0433 \u043f\u0440\u0435\u0434\u043d\u0430\u0437\u043d\u0430\u0447\u0435\u043d \u0434\u043b\u044f \u0437\u0430\u043f\u0438\u0441\u0438 \u043f\u043e\u043a\u0430\u0437\u0430\u0442\u0435\u043b\u0435\u0439 \u043e\u0446\u0435\u043d\u043a\u0438 \u0434\u043b\u044f \u0431\u0443\u0434\u0443\u0449\u0438\u0445 \u0437\u0430\u043f\u0443\u0441\u043a\u043e\u0432 \u0438 \u0441\u0440\u0430\u0432\u043d\u0435\u043d\u0438\u044f \u0438\u0445 \u0441 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u043c\u0438 \u043c\u043e\u0434\u0435\u043b\u044f\u043c\u0438.<\/p>\n<\/blockquote>\n
    \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043c\u044b \u043c\u043e\u0436\u0435\u043c \u0431\u044b\u0442\u044c \u0443\u0432\u0435\u0440\u0435\u043d\u044b, \u0447\u0442\u043e \u043d\u0430\u0448\u0430 \u0442\u0435\u043a\u0443\u0449\u0430\u044f \u043c\u043e\u0434\u0435\u043b\u044c \u2014 \u043b\u0443\u0447\u0448\u0430\u044f \u0438\u0437 \u0438\u043c\u0435\u044e\u0449\u0438\u0445\u0441\u044f \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442.<\/p>\n
    \u042f \u043d\u0435 \u0431\u0443\u0434\u0443 \u0432\u0434\u0430\u0432\u0430\u0442\u044c\u0441\u044f \u0432 \u043f\u043e\u0434\u0440\u043e\u0431\u043d\u043e\u0441\u0442\u0438 TFMA, \u043d\u043e \u0432\u043e\u0442 \u043a\u043e\u0434 \u0434\u043b\u044f \u0434\u0430\u043b\u044c\u043d\u0435\u0439\u0448\u0435\u0433\u043e \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f:<\/p>\n
    import<\/span> tensorflow_model_analysis <\/span>as<\/span> tfma<\/span><\/p>
     eval_config <\/span>=<\/span> tfma<\/span>.<\/span>EvalConfig<\/span>(<\/span><\/p>
          model_specs<\/span>=<\/span>[<\/span>tfma<\/span>.<\/span>ModelSpec<\/span>(<\/span>label_key<\/span>=<\/span>'label_xf'<\/span>,<\/span>      model_type<\/span>=<\/span>'tf_lite'<\/span>)<\/span>]<\/span>,<\/span><\/p>
          slicing_specs<\/span>=<\/span>[<\/span>tfma<\/span>.<\/span>SlicingSpec<\/span>(<\/span>)<\/span>]<\/span>,<\/span><\/p>
          metrics_specs<\/span>=<\/span>[<\/span><\/p>
              tfma<\/span>.<\/span>MetricsSpec<\/span>(<\/span>metrics<\/span>=<\/span>[<\/span><\/p>
                  tfma<\/span>.<\/span>MetricConfig<\/span>(<\/span><\/p>
                      class_name<\/span>=<\/span>'SparseCategoricalAccuracy'<\/span>,<\/span><\/p>
                      threshold<\/span>=<\/span>tfma<\/span>.<\/span>MetricThreshold<\/span>(<\/span><\/p>
                          value_threshold<\/span>=<\/span>tfma<\/span>.<\/span>GenericValueThreshold<\/span>(<\/span><\/p>
                              lower_bound<\/span>=<\/span>{<\/span>'value'<\/span>:<\/span> <\/span>0.55<\/span>}<\/span>)<\/span>,<\/span><\/p>
                          change_threshold<\/span>=<\/span>tfma<\/span>.<\/span>GenericChangeThreshold<\/span>(<\/span><\/p>
                              direction<\/span>=<\/span>tfma<\/span>.<\/span>MetricDirection<\/span>.<\/span>HIGHER_IS_BETTER<\/span>,<\/span><\/p>
                              absolute<\/span>=<\/span>{<\/span>'value'<\/span>:<\/span> <\/span>-<\/span>1e<\/span>-<\/span>3<\/span>}<\/span>)<\/span>)<\/span>)<\/span><\/p>
              <\/span>]<\/span>)<\/span><\/p>
          <\/span>]<\/span>)<\/span><\/p><\/pre>\n
    \u0412\u0430\u0436\u043d\u0430\u044f \u0447\u0430\u0441\u0442\u044c \u0437\u0430\u043a\u043b\u044e\u0447\u0430\u0435\u0442\u0441\u044f \u0432 \u0442\u043e\u043c, \u0433\u0434\u0435 \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u043c Evaluator<\/code> \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442 \u043a\u0430\u043a \u0447\u0430\u0441\u0442\u044c \u043d\u0430\u0448\u0435\u0433\u043e \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u0430<\/p>\n
    from<\/span> tfx<\/span>.<\/span>components <\/span>import<\/span> Evaluator<\/span><\/p>
    evaluator <\/span>=<\/span> Evaluator<\/span>(<\/span><\/p>
          examples<\/span>=<\/span>transform<\/span>.<\/span>outputs<\/span>[<\/span>'transformed_examples'<\/span>]<\/span>,<\/span><\/p>
          model<\/span>=<\/span>trainer<\/span>.<\/span>outputs<\/span>[<\/span>'model'<\/span>]<\/span>,<\/span><\/p>
          baseline_model<\/span>=<\/span>model_resolver<\/span>.<\/span>outputs<\/span>[<\/span>'model'<\/span>]<\/span>,<\/span><\/p>
          eval_config<\/span>=<\/span>eval_config<\/span>)<\/span><\/p><\/pre>\n
    \u041d\u0430\u0436\u043c\u0438\u0442\u0435 \u043c\u043e\u0434\u0435\u043b\u044c<\/h2>\n
    \u041f\u043e\u0441\u043b\u0435 \u0443\u0441\u043f\u0435\u0448\u043d\u043e\u0439 \u043f\u0440\u043e\u0432\u0435\u0440\u043a\u0438 \u043c\u043e\u0434\u0435\u043b\u0438 \u043f\u0440\u0438\u0448\u043b\u043e \u0432\u0440\u0435\u043c\u044f \u0437\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u0432 \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u0441\u0442\u0432\u043e.  \u042d\u0442\u043e \u0440\u0430\u0431\u043e\u0442\u0430 Pusher<\/code> \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043e\u0431\u0440\u0430\u0431\u0430\u0442\u044b\u0432\u0430\u0435\u0442 \u0432\u0441\u0435 \u043c\u0430\u0442\u0435\u0440\u0438\u0430\u043b\u044b \u0434\u043b\u044f \u0440\u0430\u0437\u0432\u0435\u0440\u0442\u044b\u0432\u0430\u043d\u0438\u044f \u0432 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u043e\u0442 \u043d\u0430\u0448\u0435\u0439 \u0441\u0440\u0435\u0434\u044b.<\/p>\n
    from<\/span> tfx<\/span>.<\/span>components <\/span>import<\/span> Pusher<\/span><\/p>
     pusher <\/span>=<\/span> Pusher<\/span>(<\/span><\/p>
          model<\/span>=<\/span>trainer<\/span>.<\/span>outputs<\/span>[<\/span>'model'<\/span>]<\/span>,<\/span><\/p>
          model_blessing<\/span>=<\/span>evaluator<\/span>.<\/span>outputs<\/span>[<\/span>'blessing'<\/span>]<\/span>,<\/span><\/p>
          push_destination<\/span>=<\/span>pusher_pb2<\/span>.<\/span>PushDestination<\/span>(<\/span><\/p>
              filesystem<\/span>=<\/span>pusher_pb2<\/span>.<\/span>PushDestination<\/span>.<\/span>Filesystem<\/span>(<\/span><\/p>
                  base_directory<\/span>=<\/span>serving_model_dir<\/span>)<\/span>)<\/span>)<\/span><\/p><\/pre>\n
    \u0421\u043e\u0437\u0434\u0430\u0439\u0442\u0435 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 TFX<\/h2>\n
    \u0425\u043e\u0440\u043e\u0448\u043e, \u043c\u044b \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u0438\u043b\u0438 \u0440\u044f\u0434 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u0441\u043e\u0434\u0435\u0440\u0436\u0430\u0442 \u0432\u0441\u0435, \u0447\u0442\u043e \u043d\u0430\u043c \u043d\u0443\u0436\u043d\u043e.  \u041d\u043e \u043a\u0430\u043a \u043c\u044b \u0441\u0432\u044f\u0436\u0435\u043c \u0438\u0445 \u0432\u043c\u0435\u0441\u0442\u0435?  \u041a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u044b TFX \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u044e\u0442\u0441\u044f \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e pipeline<\/code> class, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u043f\u043e\u043b\u0443\u0447\u0430\u0435\u0442 \u0441\u0440\u0435\u0434\u0438 \u043f\u0440\u043e\u0447\u0435\u0433\u043e \u0441\u043f\u0438\u0441\u043e\u043a \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432.<\/p>\n
    from<\/span> tfx<\/span>.<\/span>orchestration <\/span>import<\/span> metadata<\/span><\/p>
    from<\/span> tfx<\/span>.<\/span>orchestration <\/span>import<\/span> pipeline<\/span><\/p>
      components <\/span>=<\/span> <\/span>[<\/span><\/p>
          example_gen<\/span>,<\/span> statistics_gen<\/span>,<\/span> schema_gen<\/span>,<\/span> example_validator<\/span>,<\/span>      transform<\/span>,<\/span><\/p>
          trainer<\/span>,<\/span> model_resolver<\/span>,<\/span> evaluator<\/span>,<\/span> pusher<\/span><\/p>
      <\/span>]<\/span><\/p>
      pipeline <\/span>=<\/span> pipeline<\/span>.<\/span>Pipeline<\/span>(<\/span><\/p>
          pipeline_name<\/span>=<\/span>pipeline_name<\/span>,<\/span><\/p>
          pipeline_root<\/span>=<\/span>pipeline_root<\/span>,<\/span><\/p>
          components<\/span>=<\/span>components<\/span>,<\/span><\/p>
          enable_cache<\/span>=<\/span>True<\/span>)<\/span><\/p><\/pre>\n
    \u042d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u044b \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u0441\u043e\u0437\u0434\u0430\u044e\u0442 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u044b \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u044b\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445 \u0438 \u043e\u0431\u044b\u0447\u043d\u043e \u0437\u0430\u0432\u0438\u0441\u044f\u0442 \u043e\u0442 \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u043e\u0432, \u0441\u043e\u0437\u0434\u0430\u0432\u0430\u0435\u043c\u044b\u0445 \u0432\u044b\u0448\u0435\u0441\u0442\u043e\u044f\u0449\u0438\u043c\u0438 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u0430\u043c\u0438 \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u0432 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u0432\u0445\u043e\u0434\u043d\u044b\u0445 \u0434\u0430\u043d\u043d\u044b\u0445.  \u041f\u043e\u0440\u044f\u0434\u043e\u043a \u0432\u044b\u043f\u043e\u043b\u043d\u0435\u043d\u0438\u044f \u043a\u043e\u043c\u043f\u043e\u043d\u0435\u043d\u0442\u043e\u0432 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043f\u0440\u044f\u043c\u044b\u043c \u0430\u0446\u0438\u043a\u043b\u0438\u0447\u0435\u0441\u043a\u0438\u043c \u0433\u0440\u0430\u0444\u043e\u043c (DAG) \u043d\u0430 \u043e\u0441\u043d\u043e\u0432\u0435 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0435\u0439 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0430\u0440\u0442\u0435\u0444\u0430\u043a\u0442\u0430.  \u0412\u043e\u0442 \u0442\u0438\u043f\u0438\u0447\u043d\u044b\u0439 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 TFX:<\/p>\n
    <\/p>\n
        
    \n  \"kubeflow-\u0442\u0440\u0443\u0431\u043e\u043f\u0440\u043e\u0432\u043e\u0434\u044b\"<\/p>\n
        <\/span>
    \n\u0418\u0441\u0442\u043e\u0447\u043d\u0438\u043a: \u0414\u043e\u043a\u0443\u043c\u0435\u043d\u0442\u044b \u043e\u0431\u043b\u0430\u0447\u043d\u043e\u0439 \u043f\u043b\u0430\u0442\u0444\u043e\u0440\u043c\u044b Google.<\/em><\/p>\n
    \u0417\u0430\u043f\u0443\u0441\u0442\u0438\u0442\u0435 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440 TFX<\/h2>\n
    \u041d\u0430\u043a\u043e\u043d\u0435\u0446, \u043c\u044b \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0435\u043c \u0442\u043e\u0439 \u0447\u0430\u0441\u0442\u0438, \u0433\u0434\u0435 \u043c\u044b \u0431\u0443\u0434\u0435\u043c \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440.  \u041a\u0430\u043a \u043c\u044b \u0443\u0436\u0435 \u0433\u043e\u0432\u043e\u0440\u0438\u043b\u0438, \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u044b \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u044e\u0442\u0441\u044f \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u043e\u043c, \u043a\u043e\u0442\u043e\u0440\u044b\u0439 \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043d\u0438\u043c\u0430\u0442\u044c\u0441\u044f \u0432\u0441\u0435\u043c \u043f\u043b\u0430\u043d\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435\u043c \u0437\u0430\u0434\u0430\u043d\u0438\u0439 \u0438 \u0441\u0435\u0442\u044c\u044e.  \u0417\u0434\u0435\u0441\u044c \u044f \u0432\u044b\u0431\u0440\u0430\u043b Apache Beam, \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f BeamDagRunner<\/code> \u043d\u043e \u0442\u0435 \u0436\u0435 \u043f\u0440\u0438\u043d\u0446\u0438\u043f\u044b \u0441\u043f\u0440\u0430\u0432\u0435\u0434\u043b\u0438\u0432\u044b \u0434\u043b\u044f Kubeflow \u0438\u043b\u0438 Airflow.<\/p>\n
    from<\/span> tfx<\/span>.<\/span>orchestration<\/span>.<\/span>beam<\/span>.<\/span>beam_dag_runner <\/span>import<\/span> BeamDagRunner<\/span><\/p>
    if<\/span> __name__ <\/span>==<\/span> <\/span>'__main__'<\/span>:<\/span><\/p>
        BeamDagRunner<\/span>(<\/span>)<\/span>.<\/span>run<\/span>(<\/span> pipeline<\/span>)<\/span><\/p><\/pre>\n
    \u0422\u0430\u043a\u0436\u0435 \u0441\u0442\u043e\u0438\u0442 \u0443\u043f\u043e\u043c\u044f\u043d\u0443\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u0434\u043e\u0431\u043d\u044b\u0435 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043c\u043e\u0436\u043d\u043e \u0432\u044b\u043f\u043e\u043b\u043d\u044f\u0442\u044c \u0438\u0437 \u043a\u043e\u043c\u0430\u043d\u0434\u043d\u043e\u0439 \u0441\u0442\u0440\u043e\u043a\u0438 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e TFX CLI.<\/p>\n
    \u042f \u0443\u0432\u0435\u0440\u0435\u043d, \u0441\u0430\u043c\u043e \u0441\u043e\u0431\u043e\u0439 \u0440\u0430\u0437\u0443\u043c\u0435\u0435\u0442\u0441\u044f, \u0447\u0442\u043e \u043e\u0440\u043a\u0435\u0441\u0442\u0440\u0430\u0442\u043e\u0440\u044b, \u0442\u0430\u043a\u0438\u0435 \u043a\u0430\u043a \u043b\u0443\u0447 Apache, \u0432 99% \u0441\u043b\u0443\u0447\u0430\u0435\u0432 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u0431\u0443\u0434\u0443\u0442 \u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u043d\u0430 \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0445 \u0440\u0435\u0441\u0443\u0440\u0441\u0430\u0445.<\/p>\n
    \u042d\u0442\u043e \u043e\u0437\u043d\u0430\u0447\u0430\u0435\u0442, \u0447\u0442\u043e Beam \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u043f\u0443\u0441\u043a\u0430\u0442\u044c \u043e\u0431\u043b\u0430\u0447\u043d\u044b\u0435 \u044d\u043a\u0437\u0435\u043c\u043f\u043b\u044f\u0440\u044b\/\u0432\u043e\u0440\u043a\u0435\u0440\u044b \u0438 \u043f\u0435\u0440\u0435\u0434\u0430\u0432\u0430\u0442\u044c \u0434\u0430\u043d\u043d\u044b\u0435 \u0447\u0435\u0440\u0435\u0437 \u043d\u0438\u0445.  \u042d\u0442\u043e \u0431\u0443\u0434\u0435\u0442 \u0437\u0430\u0432\u0438\u0441\u0435\u0442\u044c \u043e\u0442 \u0441\u0440\u0435\u0434\u044b \u0438 \u043a\u043e\u043d\u0432\u0435\u0439\u0435\u0440\u0430.<\/p>\n
    \u0422\u0438\u043f\u0438\u0447\u043d\u044b\u0435 \u0431\u0435\u0433\u0443\u043d\u044b \u043d\u0438\u0436\u0435 Apache Beam \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0442 Spark, Flink, Google Dataflow.  \u0421 \u0434\u0440\u0443\u0433\u043e\u0439 \u0441\u0442\u043e\u0440\u043e\u043d\u044b, \u0442\u0430\u043a\u0438\u0435 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u0438, \u043a\u0430\u043a Kubeflow, \u043f\u043e\u043b\u0430\u0433\u0430\u044e\u0442\u0441\u044f \u043d\u0430 Kubernetes.  \u0422\u0430\u043a\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c, \u043e\u0434\u043d\u0430 \u0438\u0437 \u0432\u0430\u0436\u043d\u044b\u0445 \u0437\u0430\u0434\u0430\u0447 \u0438\u043d\u0436\u0435\u043d\u0435\u0440\u043e\u0432 MLOps \u2014 \u043d\u0430\u0439\u0442\u0438 \u043d\u0430\u0438\u043b\u0443\u0447\u0448\u0443\u044e \u0441\u0440\u0435\u0434\u0443 \u0434\u043b\u044f \u0441\u0432\u043e\u0438\u0445 \u043d\u0443\u0436\u0434.<\/p>\n
    \u0417\u0430\u043a\u043b\u044e\u0447\u0435\u043d\u0438\u0435<\/h2>\n
    \u0412 \u043f\u043e\u0441\u043b\u0435\u0434\u043d\u0438\u0435 \u0433\u043e\u0434\u044b \u0431\u043e\u043b\u044c\u0448\u043e\u0435 \u0432\u043d\u0438\u043c\u0430\u043d\u0438\u0435 \u0443\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0441\u0438\u0441\u0442\u0435\u043c\u0430\u043c \u0441\u043a\u0432\u043e\u0437\u043d\u043e\u0433\u043e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f.  MLOps \u0441\u0442\u0430\u043d\u043e\u0432\u0438\u0442\u0441\u044f \u0432\u0441\u0435 \u0431\u043e\u043b\u0435\u0435 \u0438 \u0431\u043e\u043b\u0435\u0435 \u0430\u043a\u0442\u0443\u0430\u043b\u044c\u043d\u044b\u043c \u043f\u043e \u043c\u0435\u0440\u0435 \u0440\u043e\u0436\u0434\u0435\u043d\u0438\u044f \u043c\u043d\u043e\u0436\u0435\u0441\u0442\u0432\u0430 \u0440\u0430\u0437\u043b\u0438\u0447\u043d\u044b\u0445 \u0441\u0442\u0430\u0440\u0442\u0430\u043f\u043e\u0432 \u0438 \u0444\u0440\u0435\u0439\u043c\u0432\u043e\u0440\u043a\u043e\u0432.  \u041f\u0440\u0435\u043a\u0440\u0430\u0441\u043d\u044b\u043c \u043f\u0440\u0438\u043c\u0435\u0440\u043e\u043c \u044f\u0432\u043b\u044f\u0435\u0442\u0441\u044f TFX.  \u0414\u043e\u043b\u0436\u0435\u043d \u043f\u0440\u0438\u0437\u043d\u0430\u0442\u044c, \u0447\u0442\u043e \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u0438\u0435 \u0442\u0430\u043a\u0438\u0445 \u043f\u0430\u0439\u043f\u043b\u0430\u0439\u043d\u043e\u0432 \u2014 \u043d\u0435\u043f\u0440\u043e\u0441\u0442\u0430\u044f \u0437\u0430\u0434\u0430\u0447\u0430 \u0438 \u0442\u0440\u0435\u0431\u0443\u0435\u0442 \u0433\u043b\u0443\u0431\u043e\u043a\u043e\u0433\u043e \u043f\u043e\u0433\u0440\u0443\u0436\u0435\u043d\u0438\u044f \u0432 \u0442\u043e\u043d\u043a\u043e\u0441\u0442\u0438 TFX.  \u041d\u043e \u044f \u0434\u0443\u043c\u0430\u044e, \u0447\u0442\u043e \u044d\u0442\u043e \u043e\u0434\u0438\u043d \u0438\u0437 \u043b\u0443\u0447\u0448\u0438\u0445 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u043e\u0432 \u0432 \u043d\u0430\u0448\u0435\u043c \u0430\u0440\u0441\u0435\u043d\u0430\u043b\u0435 \u043d\u0430 \u0434\u0430\u043d\u043d\u044b\u0439 \u043c\u043e\u043c\u0435\u043d\u0442.  \u0422\u0430\u043a \u0447\u0442\u043e \u0432 \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u0439 \u0440\u0430\u0437, \u043a\u043e\u0433\u0434\u0430 \u0432\u044b \u0437\u0430\u0445\u043e\u0442\u0438\u0442\u0435 \u0440\u0430\u0437\u0432\u0435\u0440\u043d\u0443\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e, \u0441\u0442\u043e\u0438\u0442 \u043f\u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c.<\/p>\n
    \n
    \u0412 \u043a\u0430\u0447\u0435\u0441\u0442\u0432\u0435 \u043f\u0440\u0438\u043c\u0435\u0447\u0430\u043d\u0438\u044f \u044f \u0434\u043e\u043b\u0436\u0435\u043d \u0435\u0449\u0435 \u0440\u0430\u0437 \u043f\u0440\u0435\u0434\u043b\u043e\u0436\u0438\u0442\u044c \u0432\u0430\u043c \u043f\u0440\u043e\u0439\u0442\u0438 \u043a\u0443\u0440\u0441 ML Pipelines on Google Cloud \u043e\u0442 \u043a\u043e\u043c\u0430\u043d\u0434\u044b Google Cloud \u0438\u043b\u0438 Advanced Deployment Scenarios with TensorFlow \u043e\u0442 DeepLearning.ai.<\/p>\n<\/blockquote>\n
    \n
    \"\u041a\u043d\u0438\u0433\u0430