На вскидку, что-то типа того:
WinApi::shellExecute("c:\\Program Files\\WinRAR\\rar.exe", "a backup.rar *.txt");
Второй аргумент - параметры командной строки. Их там у RARа куча. Надо разбираться (наберите rar /? в командной строке).
PS: Ну вот, опередили!