Technology Topics by Brains

ブレインズテクノロジーの研究開発機関「未来工場」で働くエンジニアが、先端オープン技術、機械学習×データ分析(異常検知、予兆検知)に関する取組みをご紹介します。

Javascriptでデータフレーム操作 - dataframe-js -

はじめに こんにちは、ブレインズテクノロジーの佐々木です。4月に新卒で入社しました。学生時代は熱帯林を這いつくばって植物と戯れていました。 CSVからデータを読み取って、ちょっとした分析をしたい!というシーンはよくありますよね。そうした手軽なデ…

まだ日本語対応していないAmazon LexのBotをAmazon Translateで翻訳させてみた

こんにちは、ブレインズテクノロジーの桑原です。 ブレインズテクノロジーは、ImpulseやNeuronといった、企業の生産性を劇的に向上させるサービス開発に従事していますが、私達自身の生産性も向上させるため、利用するシステムの探求と刷新を繰り返していま…

WindowsのDockerで慣れないこと(実践編)

Neuron開発チームの木村です。 Neuronは、ほとんどの場合Windowsにインストールされるため、テスト環境をWindows上に構築しています。 このテスト環境構築を効率化するため、docker上でのWindows利用を模索しています。 前回に引き続き、 Windows上のdocker…

AngularでPlotlyのグラフを描画してみた

ブレインズテクノロジーの加藤です。 例年以上に暑い日々が続いていますが、如何お過ごしでしょうか。 ブレインズテクノロジーでは、そんな暑い夏にも負けないくらいの空前のボルダリング熱波が巻き起こっています。 週に1回、有志でジムに通っていますが、…

Pythonの機械学習ライブラリtslearnを使った時系列データのクラスタリング

こんにちは、ブレインズテクノロジーの柏木です。 今回はPythonで扱える機械学習ライブラリのtslearnを使って、時系列データをクラスタリングしていきたいと思います。 github.com tslearnとは 時系列分析のための機械学習ツールを提供するPythonパッケージ…

PythonでのARIMAモデルを使った時系列データの予測の基礎[後編]

こんにちは。ブレインズテクノロジーの岩城です。 こちらの記事は、2部構成でお送りしている、Pythonを使用してのARIMAモデルの作成・予測の流れの整理の後半です。 前半の記事では、ARIMAモデルの基礎を簡単におさらいしました。 後半の記事では、Pythonを…

PythonでのARIMAモデルを使った時系列データの予測の基礎[前編]

こんにちは。ブレインズテクノロジーの岩城です。 今回は、2部構成でPythonを使用してのARIMAモデルの作成・予測の流れを整理したいと思います。 前半の本記事では、時系列データの予測でよく利用される、ARIMAモデルの基礎を簡単におさらいします。 後半の…

WindowsのDockerで慣れないこと

Neuron開発チームの木村です。 Neuronは、ほとんどの場合Windowsにインストールされるため、テスト環境をWindows上に構築しています。 このテスト環境構築を効率化するため、Docker上でのWindows利用を模索し始めています。 今回は「Docker for Macを使って…

Dockerコンテナで起動するElasticsearchの性能情報を取得した話

ブレインズテクノロジーの加藤です。 今回は、Dockerコンテナ上で起動するjavaアプリケーションの性能情報の取得方法についてまとめます。 例としてElasticsearchを使用しましたが、javaで起動しているアプリケーションであれば何にでも応用が効くはずです。…

ABEJA Cloud AI Night 〜エッジコンピューティング編〜で発表しました

ブレインズテクノロジー 林です。 ご縁がありまして、ABEJA Cloud AI Night 〜エッジコンピューティング編〜で発表させていただきました。発表資料はこちらになります。 speakerdeck.com発表されている内容も共感する内容あり、また、とても勉強になる内容で…

Amazon SageMakerのDeepARアルゴリズムで時系列予測

データ分析担当の青木です。 Amazon SageMakerでDeepARというアルゴリズムがリリースされました。今回の記事では下記のページを参考に、Amazon SageMakerのDeepARアルゴリズムを使ってみた内容を書きたいと思います。 aws.amazon.com Amazon SageMaker Amazo…

docker-composeで環境変数を使う

こんにちは。エンジニアの中西です。 今回は docker-compose の yml ファイルにて、環境変数が展開されずにハマった事について書きたいと思います。 docker-compose は Impulse でも使っています。複数のコンテナから構成される Impulse を yml ファイルで管…

PowerShellDSCでハマったポイント

すっかり寒くなってきました。 こんにちは、ブレインズテクノロジーの白石です。今回、業務の中でPowerShellDSCに触れることがありましたので、それについて得た知見を書きます。 というのも、PowerShellDSCの情報ってあんまり載ってないので。。。 こういう…

Pythonによる時系列データの異常検知

インターン生の松井(B4)です.時系列データの異常検知手法をまとめました.入門 機械学習による異常検知という本の7章が時系列データの異常検知を扱っています.(本書の内容をまとめたWeb記事もあります.) www.coronasha.co.jp この本のサンプルコードはす…

SparkのDeep Learning Pipelinesを使ってみた

Impulse開発チームの塚田です。 今回は、DatabricksのDeep Learning Pipelinesを、spark-shell上で触ってみました。 内容はほぼ下記を実行したものなので、英語余裕で読めるぜ!って方はこちらを見てください。 Deep Learning Pipelines — Databricks Docume…

dockerコンテナのレイテンシ

はじめましてブレインズテクノロジーの貴明です。 今回はDockerにおけるコンテナ間通信のレイテンシについて調べたためその内容について記事にしました。 経緯 「1コンテナ1プロセス」というDockerの原則に基づきコンテナを運用していると、確かに何のコンテ…

Spark Summit 2017 San Francisco

こんにちは、データアナリストの青木とエンジニアの樋口です。 引き続き、Spark Summit 2017 San Fransiscoの記事です。Keynoteやセッションで特に興味深かったものを紹介していきます。 Keynote Coming in Spark 2.2 まずは、Spark2.2に関する情報がきまし…

【レポート】Spark Summit 2017 開幕!!!

Spark Summit 2017 San Francisco こんにちは、データアナリストの青木とエンジニアの樋口です。 6月5日から合計3日間アメリカのサンフランシスコでSpark Summit2017が開催されています。 https://spark-summit.org/2017/spark-summit.org Spark Summit2017…

【レポート】ケイ・オプティコム様 IBMユーザ論文「AIを利用したサイレント故障検知の取組み」で金賞受賞!

データ分析サービス・プロダクト担当の藤原です。弊社のリアルタイム大規模データ分析基盤「Impulse」を導入いただきましたケイ・オプティコム様が、ネットワークインフラ運用において機械学習を活用してサイレント故障の検知を実現した取組みについて、IBM…

Apache Zeppelin & Spark SQLでサーバのログデータを整形・可視化する

こんにちは。春休みにブレインズテクノロジーのインターンシップに参加した、現在学部4年生の松井です。 インターン中にやったこと、ハマったことなどをまとめてみました。 やったこと Spark SQLについて 実行環境について S3に置かれているログデータをロー…

SORACOM Funnel ときどき 異常検知

本記事はSORACOMサービスリリース1周年記念ブログの11月2日分です。 皆さん、こんにちは。ブレインズテクノロジーの林です。 今日はSORACOMリリース1周年のブログに寄稿させていただくことになり、以前から気になっていたSORACOM Funnelに関する記事を書か…

ET/IoT総合技術展・関西 出展レポート

こんにちは!マーケティング担当の安部です。 今日8月8日はブレインズテクノロジーの創立記念日。早いもので9年目に突入しました…!ブログをご覧の皆様、日々応援してくださっている皆様、ありがとうございます。「最先端のオープンテクノロジーで、エンター…

Interop Tokyo 2016 出展レポート

こんにちは!マーケティング担当の安部です。 当社は2016年6月8日(水)~6月10日(金)幕張メッセで行われたInterop Tokyo 2016に出展いたしました。連日100名を超えるお客様にご来場いただき、当社製品「Impulse」をご紹介することができました。ありがと…

機械学習アルゴリズム実装シリーズ vol 2[ロジスティック回帰編]

こんにちは。ブレインズテクノロジー樋口です。 機械学習アルゴリズムを一から実装するシリーズ2回目。今回のお題はロジスティック回帰(Logistic Regression)の実装。 前回と同様あまり難しい説明はなしに実装していくつもりですが、もっと詳しいこと教えん…

Spark1.6.0のDataset APIを触ってみた

あけましておめでとうございます。 Impulse開発チームの木村です。 今回は、Spark 1.6.0で導入されたDataset APIを、spark-shell上で触ってみました。 Dataset APIとは Dataset APIは、RDDやDataFrameと同じく、データのまとまりを扱うためのAPIです。 RDDと…

World of IoTに出展したデモ

こんにちは。おじさんチームのこんのです。 今回は、去る12月16日〜18日に東京ビッグサイトで開催されたhttp://www.semiconjapan.org/ja/iotで出展したデモについて紹介したいと思います。 なお、この3日間のイベントで、200名を超える方々が弊社のImpulse…

【Spark】Window Functions(その2)

どうも、ポンセです。 前回の続きです(タイトルを微妙に変えていますが)。SparkというよりSQLのWindow関数周りの話になっている気がしますが、気にせず書きます。今回はSQLの形式で書きたいと思います。 ROWS 前回と同様にグループ単位での平均値を行毎で…

プログラミング言語あれこれ

こんにちは。(年齢順で)ブレインズNo.3のこんのです。 今回は当社のプロダクトでどんなプログラミング言語が使われているのか紹介したいと思います。 プロダクトで使われているプログラミング言語 当社ホームページをご覧頂いている方はすでにご存知かと思…

機械学習アルゴリズム実装シリーズ [線形回帰編]

機械学習アルゴリズム実装(Python) 線形回帰分析実装

【レポート】AWS re:Invent 2015(AWSの新サービスが発表されました:Day2)

AWS

データ分析サービス・プロダクト担当の藤原です。昨日に続き、本日も米国ラスベガスからAWS最大のグローバルカンファレンス「re:Invent」をレポートします。 本日の基調講演(Day2)でも新たなサービスが発表されましたので、その内容を簡単にご紹介します。…