Technology Topics by Brains

ブレインズテクノロジーの研究開発機関「未来工場」で働くエンジニアが、先端オープン技術、機械学習×データ分析(異常検知、予兆検知)に関する取組みをご紹介します。

PowerShellDSCでハマったポイント

すっかり寒くなってきました。 こんにちは、ブレインズテクノロジーの白石です。今回、業務の中でPowerShellDSCに触れることがありましたので、それについて得た知見を書きます。 というのも、PowerShellDSCの情報ってあんまり載ってないので。。。 こういう…

Pythonによる時系列データの異常検知

インターン生の松井(B4)です.時系列データの異常検知手法をまとめました.入門 機械学習による異常検知という本の7章が時系列データの異常検知を扱っています.(本書の内容をまとめたWeb記事もあります.) www.coronasha.co.jp この本のサンプルコードはす…

SparkのDeep Learning Pipelinesを使ってみた

Impulse開発チームの塚田です。 今回は、DatabricksのDeep Learning Pipelinesを、spark-shell上で触ってみました。 内容はほぼ下記を実行したものなので、英語余裕で読めるぜ!って方はこちらを見てください。 Deep Learning Pipelines — Databricks Docume…

dockerコンテナのレイテンシ

はじめましてブレインズテクノロジーの貴明です。 今回はDockerにおけるコンテナ間通信のレイテンシについて調べたためその内容について記事にしました。 経緯 「1コンテナ1プロセス」というDockerの原則に基づきコンテナを運用していると、確かに何のコンテ…

Spark Summit 2017 San Francisco

こんにちは、データアナリストの青木とエンジニアの樋口です。 引き続き、Spark Summit 2017 San Fransiscoの記事です。Keynoteやセッションで特に興味深かったものを紹介していきます。 Keynote Coming in Spark 2.2 まずは、Spark2.2に関する情報がきまし…

【レポート】Spark Summit 2017 開幕!!!

Spark Summit 2017 San Francisco こんにちは、データアナリストの青木とエンジニアの樋口です。 6月5日から合計3日間アメリカのサンフランシスコでSpark Summit2017が開催されています。 spark-summit.org Spark Summit2017では、3,000人以上のエンジニア…

【レポート】ケイ・オプティコム様 IBMユーザ論文「AIを利用したサイレント故障検知の取組み」で金賞受賞!

データ分析サービス・プロダクト担当の藤原です。弊社のリアルタイム大規模データ分析基盤「Impulse」を導入いただきましたケイ・オプティコム様が、ネットワークインフラ運用において機械学習を活用してサイレント故障の検知を実現した取組みについて、IBM…

Apache Zeppelin & Spark SQLでサーバのログデータを整形・可視化する

こんにちは。春休みにブレインズテクノロジーのインターンシップに参加した、現在学部4年生の松井です。 インターン中にやったこと、ハマったことなどをまとめてみました。 やったこと Spark SQLについて 実行環境について S3に置かれているログデータをロー…

SORACOM Funnel ときどき 異常検知

本記事はSORACOMサービスリリース1周年記念ブログの11月2日分です。 皆さん、こんにちは。ブレインズテクノロジーの林です。 今日はSORACOMリリース1周年のブログに寄稿させていただくことになり、以前から気になっていたSORACOM Funnelに関する記事を書か…

ET/IoT総合技術展・関西 出展レポート

こんにちは!マーケティング担当の安部です。 今日8月8日はブレインズテクノロジーの創立記念日。早いもので9年目に突入しました…!ブログをご覧の皆様、日々応援してくださっている皆様、ありがとうございます。「最先端のオープンテクノロジーで、エンター…

Interop Tokyo 2016 出展レポート

こんにちは!マーケティング担当の安部です。 当社は2016年6月8日(水)~6月10日(金)幕張メッセで行われたInterop Tokyo 2016に出展いたしました。連日100名を超えるお客様にご来場いただき、当社製品「Impulse」をご紹介することができました。ありがと…

機械学習アルゴリズム実装シリーズ vol 2[ロジスティック回帰編]

こんにちは。ブレインズテクノロジー樋口です。 機械学習アルゴリズムを一から実装するシリーズ2回目。今回のお題はロジスティック回帰(Logistic Regression)の実装。 前回と同様あまり難しい説明はなしに実装していくつもりですが、もっと詳しいこと教えん…

Spark1.6.0のDataset APIを触ってみた

あけましておめでとうございます。 Impulse開発チームの木村です。 今回は、Spark 1.6.0で導入されたDataset APIを、spark-shell上で触ってみました。 Dataset APIとは Dataset APIは、RDDやDataFrameと同じく、データのまとまりを扱うためのAPIです。 RDDと…

World of IoTに出展したデモ

こんにちは。おじさんチームのこんのです。 今回は、去る12月16日〜18日に東京ビッグサイトで開催されたWorld of IoT | SEMICON Japanで出展したデモについて紹介したいと思います。 なお、この3日間のイベントで、200名を超える方々が弊社のImpulseについ…

【Spark】Window Functions(その2)

どうも、ポンセです。 前回の続きです(タイトルを微妙に変えていますが)。SparkというよりSQLのWindow関数周りの話になっている気がしますが、気にせず書きます。今回はSQLの形式で書きたいと思います。 ROWS 前回と同様にグループ単位での平均値を行毎で…

プログラミング言語あれこれ

こんにちは。(年齢順で)ブレインズNo.3のこんのです。 今回は当社のプロダクトでどんなプログラミング言語が使われているのか紹介したいと思います。 プロダクトで使われているプログラミング言語 当社ホームページをご覧頂いている方はすでにご存知かと思…

機械学習アルゴリズム実装シリーズ [線形回帰編]

機械学習アルゴリズム実装(Python) 線形回帰分析実装

【レポート】AWS re:Invent 2015(AWSの新サービスが発表されました:Day2)

AWS

データ分析サービス・プロダクト担当の藤原です。昨日に続き、本日も米国ラスベガスからAWS最大のグローバルカンファレンス「re:Invent」をレポートします。 本日の基調講演(Day2)でも新たなサービスが発表されましたので、その内容を簡単にご紹介します。…

【レポート】AWS re:Invent 2015(AWSの新サービスが発表されました:Day1)

AWS

データ分析サービス・プロダクト担当の藤原です。「AWS re:Invent」をご存知でしょうか?Amazon Web Service(AWS)で毎年開催されるグローバルデベロッパーカンファレンス「AWS re:Invent」で、今年も米国ラスベガスで10月6日〜10月9日の日程で開催されてい…

ここにハマった!DynamoDB

はじめまして。Impulse開発チームの木村です。 今回は、Amazon DynamoDBを、 Apache Cassandraと同じように扱おうとした際に、ハマった点とその解決策を紹介します。 なお、DynamoDBの操作には、AWS SDK for JavaScript (Node.js)を使用しています。 テーブ…

【お知らせ】日経BP主催「Cloud Days Tokyo 2015 秋」に出展します

データ分析サービス・プロダクト担当の藤原です。来る2015年9月30日(水)〜10月2日(金)、東京ビッグサイトで開催されるクラウドサービスの総合展「Cloud Days Tokyo 2015 秋」に、協賛出展いたします。 弊社としては初めての大規模な展示会での出展となる…

pysparkのWindow Functions(その1)

はじめまして、ブレインズテクノロジーのポンセです。pysparkにWindow Functions(ウィンドウ関数)の機能がSpark 1.4で追加されました。 pyspark.sql module — PySpark 1.4.1 documentationこのWindow Functions、ランキングや移動平均値等々の集計を行うと…

技術ブログを始めます

はじめまして、ブレインズテクノロジーの河田です。 ブレインズテクノロジーは、2008年8月8日に創業した「8」に縁がある会社なので、8期目の新たな取組みとして技術ブログをはじめることにしました。 このブログではブレインズテクノロジーの「未来工場」で…