Перейти к содержимому

Как хранить чат в базе данных

  • автор:

Лучший способ хранить сообщения чата в базе данных?

Я создаю приложение для чата, и я хочу, чтобы полная история удалялась из всех сообщений, когда-либо отправляемых в чате. В настоящий момент я сохраняю каждое сообщение в виде одной строки в таблице, называемой «сообщениями». Я знаю, что эта таблица может стать огромной, поскольку даже небольшие сообщения типа «Привет» будут иметь собственную запись базы данных.

Может ли кто-нибудь рекомендовать более масштабируемое решение mysql? Я не требую, чтобы отдельные сообщения были доступны для поиска, редактирования или удаления. Может ли весь разговор храниться в одном огромном поле?

Хотелось бы услышать ваши идеи!

3 ответа

Нет ничего плохого в сохранении всей истории в базе данных, они готовы к таким задачам.

На самом деле вы можете найти здесь в Qaru ссылку на примерную схему для чата: пример

Если вы все еще беспокоитесь о размере, вы можете применить некоторые оптимизации для группировки сообщений, например, добавить буфер в приложение, который вы только нажимаете через некоторое время (например, 1 минуту или около того); таким образом, вы избегаете иметь только 1 сообщение строки

Если вы можете избежать необходимости одновременной записи в один файл, это звучит так, как будто вам не нужна база данных для хранения сообщений чата.

Просто добавьте конвертацию в текстовый файл (1 файл на пользователя\разговор).

Вам тогда нужно будет только сохранить идентификатор пользователя, идентификатор беседы и ссылку на имя файла.

Я думаю, вам будет трудно получить более простое масштабируемое решение.

Если у вас есть требование перестроить разговор, вам нужно будет добавить значение вместе с отправленным сообщением чата (в файле), чтобы вы могли объединять и сортировать файлы.

Вы можете создать базу данных для x цепочек, содержащих все сообщения этих цепочек. Это позволит вам добавлять новую базу данных (или сервер) каждый раз, когда х превышает. X — количество разговоров, поддерживаемых вашей инфраструктурой (в зависимости от вашего оборудования. ).

Проблема по-прежнему заключается в том, что в одной базе данных могут быть большие разговоры (с большим количеством сообщений). например у вас есть база данных A и база данных B, каждая из которых хранится, например. 1000 разговоров. Возможно, что на сервере A гораздо больше «больших» разговоров, чем на сервере B (так как это созданный пользователем контент). Вы можете добавить «основную» базу данных, содержащую поиск, на основе которой можно найти одиночные разговоры (или у вас есть схема для назначения базы данных из хэша/модуля или чего-то еще).

Возможно, вы можете найти архитектуры реального мира, которые занимаются одними и теми же проблемами (возможно, вы не первый), и это уже было решено.

Проектирование архитектуры базы данных для чата

Как вообще, должен работать чат. У вас есть пользователи, которые могут общаться в чате. Чат может состоять из нескольких групп (таблица chat), по сути, из отдельных чатов в каждом из которых могут общаться пользователи (таблица party). Сообщения каждого чата добавляются (таблица messages) от участников чата, которым можно показывать уведомления о добавлении новых сообщений и проверять, какие сообщения пользователь уже прочитал (таблица message_status).

Полагаю, что у вас уже есть таблица users, в которой хранятся пользователи.

Таблица со списком групп чата

В таблице со списком групп чата будут храниться данные группах чата. Таблица выглядит следующим образом:

Название таблицы — chat

Наименование Описание
chat_id порядковый id чата
name заголовок чата, его название
user_id id пользователя создавшего чат

Таблица со списком участников чата

В таблице списка участников чата будет храниться связь между группой чата и пользователями, которые участвуют в беседе группы чата. Таблица выглядит следующим образом:

Название таблицы — party

Наименование Описание
chat_id id группы чата
user_id id пользователя, который учавствует в переписке чата

Таблица со списком сообщений

В таблице со списком сообщений будут храниться сообщения, которые пользователи пишут друг другу в чате. Таблица выглядит следующим образом:

Название таблицы — messages

Наименование Описание
message_id порядковый id сообщения
chat_id id чата
user_id id пользователя, который добавил сообщение
contect содержимое сообщения
date_create дата добавления сообщения

Таблица со статусами сообщений

В таблице со статусами сообщений будут храниться статусы уведомлений, определяющих просмотрел ли определенный пользователь новое добавленное сообщение. Таблица выглядит следующим образом:

Название таблицы — message_status

Наименование Описание
message_id id сообщения
user_id id пользователя
is_read прочитано ли сообщение

Доводилось ли вам создавать чат для своего сайта? Если да, то какая архитектура в нем используется?

Best way to store chat messages in a database? [closed]

Want to improve this question? Update the question so it focuses on one problem only by editing this post.

Closed 7 years ago .

I’m building a chat app and I want a full history off all messages ever sent in the chat conversation. At the moment I am storing each message as a single row in a table called ‘messages’. I am aware that this table could grow huge as even small messages like ‘Hi’ would have their own database record.

Can anyone recommend a more scalable mysql solution? I don’t require the individual messages to be searchable, editable or deletable. Could the whole conversation be stored in one huge field?

Would love to hear your ideas!

wilsonpage's user avatar

3 Answers 3

There’s nothing wrong with saving the whole history in the database, they are prepared for that kind of tasks.

Actually you can find here in Stack Overflow a link to an example schema for a chat: example

If you are still worried for the size, you could apply some optimizations to group messages, like adding a buffer to your application that you only push after some time (like 1 minute or so); that way you would avoid having only 1 line messages

If we assume that you do not read the data too.

This sounds to me like an audit\logging requirement, if it is, you do not need a database to store the chat messages.

Just append the conversation to a text file (1 file per day?). The file could look like this:

I think you will find it hard to get a more simple scaleable audit solution.

If your requirements change and you need to search\edit\delete then a database would be more appropriate.

You could create a database for x conversations which contains all messages of these conversations. This would allow you to add a new Database (or server) each time x exceeds. X is the number conversations your infrastructure supports (depending on your hardware. ).

The problem is still, that there may be big conversations (with a lot of messages) on the same database. e.g. you have database A and database B an each stores e.g. 1000 conversations. It my be possible that there are far more «big» conversations on server A than on server B (since this is user created content). You could add a «master» database that contains a lookup, on which database/server the single conversations can be found (or you have a schema to assign a database from hash/modulo or something).

Maybe you can find real world architectures that deal with the same problems (you may not be the first one), and that have already been solved.

БД для хранения сообщений чата, какую выбрать?

Добрый день, делаю проект на Yii2, в нем уже реализован чат на комет сервере чат уже полностью работает, пользователи могут общаться только в приватных беседах т.е. только 2 пользователя друг с другом. При отправке сообщения, оно улетает аяксом в php скрипт, валидируется по определенным правилам и если все ок, записывает в таблицу бд и возвращает успех на клиентскую часть после чего уже сообщение попадает в окошко чата.

Структура бд:
tbl_dialog:
dialog_id — id Диалога
dialog_one_user_id — id первого юзера
dialog_two_user_id — id второго юзера
dialog_time — время создания диалога

tbl_message
chat_messages_id — id сообщения
chat_messages_text — текст сообщения
chat_messages_fk_dialog_id — id Диалога к которому относится сообщение
chat_messages_fk_user_id — id отправителя
chat_messages_fk_to_user_id — id получателя
chat_messages_ip — ip отправителя
chat_messages_isRead — прочитано ли сообщение получателем
chat_messages_isVisible_one_user — видимость сообщение для первого юзера
chat_messages_isVisible_two_user — видимость сообщение для первого юзера (для возможности отчисти сообщений, если просто удалять тогда сообщение пропадет из истории у обоих юзеров)
chat_messages_time — время отправки сообщения

Вся система работает с бд MySQL — InnoDB, сообщения пишутся в бд при каждой отправке (INSERT), пока сервис еще не запущен, сообщений мало (только мои тестовые) все работает шустро, но вот когда запущу и количество сообщений перевалит за несколько миллионов, что будет тогда с моей бд? Начнутся жесткие тормоза при select и insert?

Вот пока не поздно думаю стоит ли переписывать хранение сообщений на другую NoSQL БД, с ними не работал никогда, почитал доки и на первый взгляд ничего сложного.

В голове вертятся 2 варианта реализации:
1) перевести табличку tbl_message в коллекцию MongoDB и так же писать туда сообщения при каждой отправке (т.е. пользователь отправил 1 сообщение и мы его сразу в бд записали, по одной записи делать буду и так каждое сообщение). Как Mongo будет вести себя при вставке сообщения, когда в коллекции будет за 20 млн записей? Правильная ли эта схема?

1) Записывать каждое сообщение в память в виде массива сообщений (memcached или redis или еще что то — посоветуйте) и по крону допустим каждую минуту или 5 мин брать весь массив сообщений, писать через транзакцию в MySQL, далее чистим массив сообщений для новых записей. Так получается что не будет несколько инсертов в секунду, т.к. сообщения будут храниться в памяти. Но тут опять засада, сможет ли MySQL нормально работать с огромной таблицей 20млн записей?

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *