9.0 KiB
9.0 KiB
Protocol Buffers (protobuf)
Protocol Buffers (protobuf) - это метод сериализации структурированных данных, разработанный в Google. Он предоставляет эффективный способ кодирования данных, который может быть использован для обмена информацией между различными системами.
Основные характеристики protobuf:
- Эффективность: protobuf обеспечивает компактное представление данных, занимая меньше места в памяти и на диске по сравнению с текстовыми форматами, такими как JSON или XML.
- Скорость: благодаря своей компактности и простоте структуры, он работает быстрее при кодировании и декодировании данных.
- Независимость от языка программирования: protobuf имеет поддержку для множества языков программирования, что позволяет передавать данные между приложениями, написанными на разных языках.
- Расширяемость и обратная совместимость: новые поля могут быть добавлены в структуры данных без нарушения обратной совместимости с уже существующими данными.
Минусы:
- Размер сообщения - протокол предусматривает, то что в память должны будут быть загружены все сообщения объектного графа, при превышении возможны ошибки и скачки использования памяти.
- Сравнение данных - во время сериализации данных идентичные данные могут иметь, различную двоичную сериализацию. Невозможно сравнить данные на равенство до полной десериализации
- Сжатие - данные можно сжать только предварительной обработкой алгоритмами сжатия
- Стандартизация - protobuf не имеет формальных стандартов какой-либо организации
protobuf активно используется в распределенных системах, веб-сервисах, а также в качестве формата для обмена сообщениями между компонентами программного обеспечения благодаря своей эффективности, скорости и универсальности.
Схема работы protobuf
Типы данных и аналоги в различных ЯП:
| .proto Type | Notes | C++ Type | Java/Kotlin Type | Python Type | Go Type | Ruby Type | C# Type | PHP Type |
|---|---|---|---|---|---|---|---|---|
| double | double | double | float | float64 | Float | double | float | |
| float | float | float | float | float32 | Float | float | float | |
| int32 | Uses variable-length encoding. Inefficient for encoding negative numbers – if your field is likely to have negative values, use sint32 instead. | int32 | int | int | int32 | Fixnum or Bignum (as required) | int | integer |
| int64 | Uses variable-length encoding. Inefficient for encoding negative numbers – if your field is likely to have negative values, use sint64 instead. | int64 | long | int/long | int64 | Bignum | long | integer/string |
| uint32 | Uses variable-length encoding. | uint32 | int | int/long | uint32 | Fixnum or Bignum (as required) | uint | integer |
| uint64 | Uses variable-length encoding. | uint64 | long | int/long | uint64 | Bignum | ulong | integer/string |
| sint32 | Uses variable-length encoding. Signed int value. These more efficiently encode negative numbers than regular int32s. | int32 | int | int | int32 | Fixnum or Bignum (as required) | int | integer |
| sint64 | Uses variable-length encoding. Signed int value. These more efficiently encode negative numbers than regular int64s. | int64 | long | int/long | int64 | Bignum | long | integer/string |
| fixed32 | Always four bytes. More efficient than uint32 if values are often greater than 228. | uint32 | int | int/long | uint32 | Fixnum or Bignum (as required) | uint | integer |
| fixed64 | Always eight bytes. More efficient than uint64 if values are often greater than 256. | uint64 | long | int/long | uint64 | Bignum | ulong | integer/string |
| sfixed32 | Always four bytes. | int32 | int | int | int32 | Fixnum or Bignum (as required) | int | integer |
| sfixed64 | Always eight bytes. | int64 | long | int/long | int64 | Bignum | long | integer/string |
| bool | bool | boolean | bool | bool | TrueClass/FalseClass | bool | boolean | |
| string | A string must always contain UTF-8 encoded or 7-bit ASCII text, and cannot be longer than 232. | string | String | str/unicode | string | String (UTF-8) | string | string |
| bytes | May contain any arbitrary sequence of bytes no longer than 232. | string | ByteString | str (Python 2) bytes (Python 3) |
[]byte | String (ASCII-8BIT) | ByteString | string |
Почитать:
| Название | Ссылка |
|---|---|
| Protocol Buffers - Google's data interchange format | https://github.com/protocolbuffers/protobuf |
| Introduction to Google Protocol | https://www.baeldung.com/google-protocol-buffer |
| Protocol Buffers — Basics | https://faun.pub/protocol-buffers-basics-d5668fc194b3 |
| Beating JSON performance with Protobuf | https://auth0.com/blog/beating-json-performance-with-protobuf/ |
