自身のアンテナを書くのをマネしてみた。気が付いたらまた見直そう アンテナ データサイエンス マシンラーニング MS Azure Python機械学習プログラミング ディープラーニング Keras Chainer マエショリ 技術 IOT ビーコン RaspberryPI Arduino Edison Docker…

JupyterNotebookの設定をする。導入はこちら dragstar.hatenablog.com Jupyter notebookをホストのブラウザで使用する Ubuntu on Virtualboxで運用しているので、Jupyterとか使用する際にはゲスト側ではなく、ホスト側のブラウザで実行すると捗る。というこ…

WindowsのエクスプローラとではファイルをZIPするには任意のファイル（またはフォルダ）をクリックして選択して、右クリののちにZIPしていると思われる。でもそういったGUIでの操作よりもCUIでできないものかと思った。 ZIPをCUIで作る Windowsではcmd.exeで…

WindowsでもCUIでリモート接続をしたいと思った。Powershellならできると聞いて早速試してみた。リモートデスクトップ接続しちゃえばいいじゃんなんてことは言わない！！ 事前準備 まずは接続される側で設定が必要。PowerShellを起動してリモート接続をEnabl…

前回記事と同じ内容をRで行う dragstar.hatenablog.com Rで実装 こちらもkmeansが外部ライブラリなしに利用できる。データとクラスタ数を渡すだけで結果が出る。 しかしggplot2は使わないでいると忘れる。適度にpythonとRを行ったり来たりしないとだめだなぁ…

俺たちのirisでクラスタ分析を行う。 クラスタ分析とは 機械学習の一つで教師なし学習に分類される。データの特徴をプログラムが判定して、それぞれのクラスタに分けることが出来る。 クラスタリング分析は一般的にK-means法が使われる。データに対してまず…

DB2は自動コミットがデフォルトでONになっているので、うっかり更新してしまって泣くこともしばしば。ということで自動コミット(auto-commit)の設定方法。 auto-commitのデフォルト設定 DDLでもDMLでもCLI実行時にauto-commmit関連の設定を変えることで対応…

www.nasa.gov プロキシマbは水の存在の可能性という事だったが、エウロパにおいて水蒸気のようなものが確認されたとNASAが発表した。日本時間の9/24にNASAが「9/26に驚くべき発表するからな」と言ったニュースがこれ。NASAはたびたびこんな感じでもったいぶ…

wired.jp Civilizationファンならアルファ・ケンタウリという名前を聞いたことがあると思う。ゲーム内で技術を高めて宇宙船を作り、アルファ・ケンタウリに旅立てれば科学勝利となる。アルファ・ケンタウリとはケンタウルス座α星という俺たちの太陽系からも…

普段コードを書くときはjupyterを使っていて、matplotlibのプロットがブラウザ内に行われるの為この問題には気付かなかった。改めてpythonのコードを書いてみて描画関連でエラーが出ていることに気が付いた。 環境 何が起こったか 解決方法 確認 原因 参考 …

Pandasの操作シリーズ 第二弾 前回 dragstar.hatenablog.com データの基本操作 所謂基本統計量がとれる www.mm-lab.jp 最大値の取得 df.max() 最小値の取得 df.min() 平均値の取得 df.mean() 中央値の取得 df.median() 分散の取得 df.var() 標準偏差の取得 d…

Pandasの操作シリーズ CSVファイルからPandasを作る こういうCSVデータがあったとする。 no,Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species 1,5.1 ,3.5 ,1.4 ,0.2 ,setosa 2,4.9 ,3.0 ,1.4 ,0.2 ,setosa 3,4.7 ,3.2 ,1.3 ,0.2 ,setosa まずは基…

pythonに続きRでもそれをやる dragstar.hatenablog.com パッケージを一括アップデート update.packages() このコマンドを打ったのちにCRANと既存パッケージのバージョン比較が自動的に行なわれる。だが、パッケージごとに更新してもいいか「Update (y/N/c)?…

普段は別のRDBMSを使っているので、MySQLのコマンドがいつも覚えられない。接続コマンドすら打てないという体たらくなので、忘れてもいいようにメモしておく。 データベース関連 接続 mysql -h host -u user -p DB表示 show databases; DBの切り替え use you…

pipでなんやかやパッケージを入れているのだが、これまで何をいれたのか忘れる。アップデートがあるとかそういったものは当然のように忘れる。ということで管理方法などを調べた。 パッケージの管理 まずはpipでできるコマンドから。 パッケージリストの表示…

もう何個目かわからないくらいイヤホンは買ってる。といってもオーディオマニアとかそういうのではなく、単純になくすからだ。高いやつでそれをやっちゃうと後悔が大きいので、いつも安めのやつを買うようにしている。Beatsとか買っちゃってなくしたらきっと…

データをDBからとってきてRで分析がしたい インストール 僕の場合、別途debパッケージが必要だったのでそれを先にやっておく sudo apt install libmariadb-client-lgpl-dev 続いてRのパッケージをインストール install.packages(c("DBI", "RMySQL")) RからMy…

普段使っているUbuntu15が2016/7/28でサポート切れしていた。ということでUbuntu16をこれからは使っていこうかと。LTSだし。 apt updateができない Ubuntu16のインストールまではさっくり終わったのだが、apt updateするとハッシュサムがあわないから更新し…

タイトルまんまで irisをpandasで使いたい pythonのscikit-leanにはいくつかデータセットがあり、俺たちのirisももちろん用意されている。ただそれをpandasで使いたいんや。 pandas先生は自動的にいろいろやってくれる上、その後の加工にも便利。機械学習界…

サイモン・シンによるシンプソンズ関連の本が出るときいてワクワクだったけど、そういえばこれを未読だったことを思い出した。サイモン・シンファンの風上にも置けないな。 代替医療のトリック作者: サイモンシン,エツァートエルンスト,Simon Singh,Edzard E…

インストール プロジェクトの作成 Itemの作成 Spiderの作成 shell Pipelineの作成 実行 スケジューリング 最後に インストール 前回記事より。 dragstar.hatenablog.com プロジェクトの作成 まずはプロジェクトを作る scrapy startproject tutorial ツリー構…

タイ料理屋の裏手で見つけた

というよりmysql-connector-pythonがインストールできなかった。 dragstar.hatenablog.com mysql-connector-pythonをpipからインストールしようとしたら下記のエラーが出た Could not find a version that satisfies requirement mysql-connector-python(fro…

どのドライバ使えばいいんだってばよ なんでこんなにあるんだ ここにいくつもある MySQL - Python Wiki で、日本語で情報が検索できたものとしてピックアップしたのがこのへん PyMySQL mysql-connector-python MySQL-Python mysqlclient 概要を表にしてみた …

あーあ www.itmedia.co.jp Podcastを支えたTBSラジオ これまでAppleはいろいろなサービスをiTunesをはじめとしたプロダクトに組み込んできたが、いくつか死んでいったサービスもある。その中でPodcastは死ななかった。なぜか。PodcastはTBSラジオがあったか…

データがなければ自分で加工すればいいじゃない Scrapyとは Scrapy | A Fast and Powerful Scraping and Web Crawling Framework ScrapyとはPythonのスクレイピングライブラリというかフレームワークで、Webサイトの情報を抽出することができる。要はFireFox…

いやー、こういう映画大好き。 スリーデイズ [DVD]出版社/メーカー: ジェネオン・ユニバーサル発売日: 2012/03/02メディア: DVD クリック: 2回この商品を含むブログ (19件) を見る リーアムニーソン映画ではない 繰り返す。これはリーアムニーソン映画ではな…

Rでやった事をPythonでもやる。 dragstar.hatenablog.com 準備 scipy numpy ライブラリはこの辺を使う。データも前回同様気象庁のデータを使います。 ライブラリの準備 import pandas as pd from matplotlib import pyplot as plt import seaborn as sns imp…

いやぁ、捗りますね。今回はJupyterをインストールしてさらにRを使える様にする所までを。 Jupyterとは Jupyterのインストール JupyterでRを使えるようにする githubとgist terminalも使える magic command ゲストOSで起動させてホストOSで動かす まとめ Jup…

EXCELとかで出す近似曲線を描いた 準備 気温のプロットと、それの近似曲線を描くことを目標にします。 気象庁|過去の気象データ・ダウンロード 気象庁から5/1のとある地点のデータを持ってきます。データの内容はこんな感じで「kion_20160501.csv」という名…