Files
2023-10-30 17:42:37 +03:00

9.0 KiB
Raw Permalink Blame History

Protocol Buffers (protobuf)

Protocol Buffers (protobuf) - это метод сериализации структурированных данных, разработанный в Google. Он предоставляет эффективный способ кодирования данных, который может быть использован для обмена информацией между различными системами.

Основные характеристики protobuf:

  • Эффективность: protobuf обеспечивает компактное представление данных, занимая меньше места в памяти и на диске по сравнению с текстовыми форматами, такими как JSON или XML.
  • Скорость: благодаря своей компактности и простоте структуры, он работает быстрее при кодировании и декодировании данных.
  • Независимость от языка программирования: protobuf имеет поддержку для множества языков программирования, что позволяет передавать данные между приложениями, написанными на разных языках.
  • Расширяемость и обратная совместимость: новые поля могут быть добавлены в структуры данных без нарушения обратной совместимости с уже существующими данными.

Минусы:

  • Размер сообщения - протокол предусматривает, то что в память должны будут быть загружены все сообщения объектного графа, при превышении возможны ошибки и скачки использования памяти.
  • Сравнение данных - во время сериализации данных идентичные данные могут иметь, различную двоичную сериализацию. Невозможно сравнить данные на равенство до полной десериализации
  • Сжатие - данные можно сжать только предварительной обработкой алгоритмами сжатия
  • Стандартизация - protobuf не имеет формальных стандартов какой-либо организации

protobuf активно используется в распределенных системах, веб-сервисах, а также в качестве формата для обмена сообщениями между компонентами программного обеспечения благодаря своей эффективности, скорости и универсальности.

Схема работы protobuf

!Pasted image 20231030163849.png

Типы данных и аналоги в различных ЯП:

.proto Type Notes C++ Type Java/Kotlin Type Python Type Go Type Ruby Type C# Type PHP Type
double double double float float64 Float double float
float float float float float32 Float float float
int32 Uses variable-length encoding. Inefficient for encoding negative numbers – if your field is likely to have negative values, use sint32 instead. int32 int int int32 Fixnum or Bignum (as required) int integer
int64 Uses variable-length encoding. Inefficient for encoding negative numbers – if your field is likely to have negative values, use sint64 instead. int64 long int/long int64 Bignum long integer/string
uint32 Uses variable-length encoding. uint32 int int/long uint32 Fixnum or Bignum (as required) uint integer
uint64 Uses variable-length encoding. uint64 long int/long uint64 Bignum ulong integer/string
sint32 Uses variable-length encoding. Signed int value. These more efficiently encode negative numbers than regular int32s. int32 int int int32 Fixnum or Bignum (as required) int integer
sint64 Uses variable-length encoding. Signed int value. These more efficiently encode negative numbers than regular int64s. int64 long int/long int64 Bignum long integer/string
fixed32 Always four bytes. More efficient than uint32 if values are often greater than 228. uint32 int int/long uint32 Fixnum or Bignum (as required) uint integer
fixed64 Always eight bytes. More efficient than uint64 if values are often greater than 256. uint64 long int/long uint64 Bignum ulong integer/string
sfixed32 Always four bytes. int32 int int int32 Fixnum or Bignum (as required) int integer
sfixed64 Always eight bytes. int64 long int/long int64 Bignum long integer/string
bool bool boolean bool bool TrueClass/FalseClass bool boolean
string A string must always contain UTF-8 encoded or 7-bit ASCII text, and cannot be longer than 232. string String str/unicode string String (UTF-8) string string
bytes May contain any arbitrary sequence of bytes no longer than 232. string ByteString str (Python 2)
bytes (Python 3)
[]byte String (ASCII-8BIT) ByteString string

Почитать:

Название Ссылка
Protocol Buffers - Google's data interchange format https://github.com/protocolbuffers/protobuf
Introduction to Google Protocol https://www.baeldung.com/google-protocol-buffer
Protocol Buffers — Basics https://faun.pub/protocol-buffers-basics-d5668fc194b3
Beating JSON performance with Protobuf https://auth0.com/blog/beating-json-performance-with-protobuf/