Hola sitrgtdf,
Debes de tener en cuenta que la PBX como tal no tiene un servidor de SMTP para enviar correo. Por el contrario, la PBX tiene la opcion para configurar un relay. Es decir, un servidor externo el cual se encarga de enviar los correos.
Ahora bien, dependiendo de la licencia que estes usando (standard, PRO...) vas a poder configurar un relay custom (google, o tu propio servidor) o vas a estar forzado a usar el de 3CX.
Con lo que comentas al parecer estas intento usar tu propio servidor, por lo cual debes contar con un licencia PRO en adelante de lo contrario no vas a poder usarlo. Ademas de esto debes verificar si la conexion que estas usando usa SMPTS con lo cual el puerto no seria 25.
Otra prueba que puedes hacer es en tu servidor de correo capturar tráfico y luego filtrar por la IP de la PBX para ver si el trafico esta llegando. Lo mismo puedes hacer en la PBX, capturar trafico y mirar si estan saliendo paquetes a la IP destino de tu servidor de correo por el puerto configurado.
