FlumeでKafka for HDInsightとデータをやり取りしてみる

Microsoft AzureのHDInsightでKafkaが使えるようになったので、これをデプロイしてFlumeでデータをやり取りしてみます。 HDInsightのKafkaはこのへんのマイクロソフトのブログ記事を見てデプロイしておきます。 Kafka for HDInsight概要 blogs.msdn.microsof…

Elasticsearch for Apache Hadoop の Multi-index Writes を試す

Elasticsearch for Apache Hadoop 1.3 M3から追加されたMulti-index Writesという機能をHiveで試してみた。 たとえば定期的にMapReduceを実行して、1日毎にindexまたはtypeを分けたいという要件があるような場合など、データの内容によって、動的に別のindex…