Для корректной работы функции php mail() на VPS сервере необходимо выполнить настройку почтового сервера.

На первом этапе нам необходимо задать имя сервера(hostname) и обратную DNS запись для IP адреса(PTR) в управлении заказом.

Для этого вам нужно в панели управления выбрать ваш заказ и нажать кнопку "Параметры" 

На примере задан hostname и ptr запись domain.tld, где domain.tld это ваш домен.

Далее входим в панель управления вашим VPS сервером ISPmanager и на вкладке "Почтовые домены" добавим ваш домен, если он не создан.

Создаем почтовый ящик от которого будет происходить отправка писем с сайта.

Ну и на последнем этапе в настройках вашего сайта в разделе "WWW домены" пропишем "E-Mail администратора", то есть созданный нами ранее почтовый ящик.

Теперь можно проверить работу почты.