我的环境：
某网站F5 后挂30台服务器提供服务，每个服务器每天产生300M日志，我需要把所有服务器的日志做分析入库到一台oracle服务器，大概每天入库1.2亿条数据，现在的做法是每个服务器上用shell脚本进行文本处理，处理后的文本集中拷贝到数据库服务器上，再通过sqlldr再导入到oracle中。因为开发需要，所以每个机器上的crontab都有每小时每天执行的任务，这样系统勉强运行，但维护量太大，且30台服务器有一个服务器出问题的话数据就不准。
所以在这里征求各位意见：如何处理大文本更快，如何入库更快，谢谢大家！

顶一下