Somente isto não quer dizer muita coisa. Pois ainda tem o buffer usado pelas conexões. Os atribuídos aos indices, etc. A soma de tudo irá dizer quando irá usar de memória. E ainda tem o consumo de memória do php, servidor web e do ambiente operacional. No fim é difícil equalizar com pouca RAM (4gb) se você tem muitos usuários.
Veja o mysql calculator e estou usando valores conservadores e estourou os 4gb.
PS : Servidores com 8Gb uso para replicação de Mysql/Mariadb. Para produção uso com mais de 16GB. Na prática o servidor com menos memória que tenho é 48gb.
Com 4Gb tudo que tem ser muito bem calculado. Principalmente se o número de clientes aumentou. Vai chegar num momento que estoura mesmo.