DISTRICT 37

なにか

RMeCabFreqをPythonでやりたい

MeCabはRから入ったので、pythonでも同じように処理をしたいなと。ということでタイトルの通り RMeCabFreqって何 pythonでMeCabを扱っていて、こういうオブジェクトが欲しかった。 Term Info1 Info2 Freq アメリカ 名詞 固有名詞 36 皆さん 名詞 一般 19 国 …

20170527朝顔

一週間経っても芽が出ない。死んだ種だったか?

20170523朝顔

思い立って昨日から種を植えて見た。種は2年前くらいに採ったものを冷凍保存したやつ。まずは芽がでるか心配

5月が一番いい6つの理由

8月が一番だと思っていたけど好きなのは5月だな。 休みが多い 暑い 涼しい 虫がいない やる気に溢れてる ボーナス直前 休みが多い 言わずと知れたGWから始まるのが5月。4月の末から繋げれば、長い休みを取れるというのがサイコー。ガス欠を起こすこともある…

matplotlibで2軸グラフを作る

一つのグラフに複数のグラフを描くのと、評価の違う軸を合わせて描く twinx() これを使うだけでX軸を共有できる twiny() twinxがあるってことはtwinyもある y軸が共有できたのがわかる

RapidMinerを試す

PythonとかRとかで頑張ってきたのに、こんなに簡単にできるなんて、今から始める人が羨ましい インストール rapidminer.com ここからDownloadへ進んで、対象のOSにあったファイルをダウンロードする。今のところWin(32、64)、Mac、Linuxが対応しているので迷…

プログラミングを学ぶ意味

子供にプログラミングを習わせる親が増えているらしい。実際にプログラミング教室なんかがいくつかあって驚いた。「プログラミングを習わせる意味がどうも分からないんだよね」という人がいたのでちょっと考えをまとめてみた。 プログラミングは論理的に考え…

MySQLの小ネタ

普段はWorkbenchとかプログラムとかからDBを扱っているので、CUIではあまり見ない。mysqlをふとした時にターミナルで見たりすると面食らう事があるので、いくつか使えそうなネタを調べた PAGERの指定 SELECTの結果とかをPAGERで見ることが出来る。コンソール…

Scrapyのコツ

Scrapyを作ってていくつかコツをつかんだ気がする。といっても処理側の話なので、xpathをマスターしないことにはScrapyが作れないことには変わりない。 Spiderのコツ itemをitemクラスに格納する際にはyieldをうまく使うといい。 前回やったRSSのようにデー…

ScrapyでRSSをスクレイピング

RSSリーダがすでにあるのに、スクレイピングをするなんて、、、いや、余計なことは考えない!! スパイダーを作ってアイテムに入れるまで 今回のお題としては、はてぶの人気エントリのRSSを取ってきてアイテムに入れるまで。パイプラインに関しては今回は扱…

20161228アンテナ

自身のアンテナを書くのをマネしてみた。気が付いたらまた見直そう アンテナ データサイエンス マシンラーニング MS Azure Python機械学習プログラミング ディープラーニング Keras Chainer マエショリ 技術 IOT ビーコン RaspberryPI Arduino Edison Docker…

Jupyter Notebookの設定をする

JupyterNotebookの設定をする。導入はこちら dragstar.hatenablog.com Jupyter notebookをホストのブラウザで使用する Ubuntu on Virtualboxで運用しているので、Jupyterとか使用する際にはゲスト側ではなく、ホスト側のブラウザで実行すると捗る。というこ…

Powershellでzipファイルを作る

WindowsのエクスプローラとではファイルをZIPするには任意のファイル(またはフォルダ)をクリックして選択して、右クリののちにZIPしていると思われる。でもそういったGUIでの操作よりもCUIでできないものかと思った。 ZIPをCUIで作る Windowsではcmd.exeで…

Powershellでリモート接続

WindowsでもCUIでリモート接続をしたいと思った。Powershellならできると聞いて早速試してみた。リモートデスクトップ接続しちゃえばいいじゃんなんてことは言わない!! 事前準備 まずは接続される側で設定が必要。PowerShellを起動してリモート接続をEnabl…

Rでクラスタ分析

R

前回記事と同じ内容をRで行う dragstar.hatenablog.com Rで実装 こちらもkmeansが外部ライブラリなしに利用できる。データとクラスタ数を渡すだけで結果が出る。 しかしggplot2は使わないでいると忘れる。適度にpythonとRを行ったり来たりしないとだめだなぁ…

Pythonでクラスタ分析

俺たちのirisでクラスタ分析を行う。 クラスタ分析とは 機械学習の一つで教師なし学習に分類される。データの特徴をプログラムが判定して、それぞれのクラスタに分けることが出来る。 クラスタリング分析は一般的にK-means法が使われる。データに対してまず…

DB2のautocommit設定

DB2は自動コミットがデフォルトでONになっているので、うっかり更新してしまって泣くこともしばしば。ということで自動コミット(auto-commit)の設定方法。 auto-commitのデフォルト設定 DDLでもDMLでもCLI実行時にauto-commmit関連の設定を変えることで対応…

木星の惑星エウロパから水蒸気のようなもの

www.nasa.gov プロキシマbは水の存在の可能性という事だったが、エウロパにおいて水蒸気のようなものが確認されたとNASAが発表した。日本時間の9/24にNASAが「9/26に驚くべき発表するからな」と言ったニュースがこれ。NASAはたびたびこんな感じでもったいぶ…

プロキシマ・ケンタウリbという星

wired.jp Civilizationファンならアルファ・ケンタウリという名前を聞いたことがあると思う。ゲーム内で技術を高めて宇宙船を作り、アルファ・ケンタウリに旅立てれば科学勝利となる。アルファ・ケンタウリとはケンタウルス座α星という俺たちの太陽系からも…

matplotlibが描画されない

普段コードを書くときはjupyterを使っていて、matplotlibのプロットがブラウザ内に行われるの為この問題には気付かなかった。改めてpythonのコードを書いてみて描画関連でエラーが出ていることに気が付いた。 環境 何が起こったか 解決方法 確認 原因 参考 …

Pandasの基本操作

Pandasの操作シリーズ 第二弾 前回 dragstar.hatenablog.com データの基本操作 所謂基本統計量がとれる www.mm-lab.jp 最大値の取得 df.max() 最小値の取得 df.min() 平均値の取得 df.mean() 中央値の取得 df.median() 分散の取得 df.var() 標準偏差の取得 d…

Pandasでcsvを操作

Pandasの操作シリーズ CSVファイルからPandasを作る こういうCSVデータがあったとする。 no,Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species 1,5.1 ,3.5 ,1.4 ,0.2 ,setosa 2,4.9 ,3.0 ,1.4 ,0.2 ,setosa 3,4.7 ,3.2 ,1.3 ,0.2 ,setosa まずは基…

Rのパッケージを一括アップデート

R

pythonに続きRでもそれをやる dragstar.hatenablog.com パッケージを一括アップデート update.packages() このコマンドを打ったのちにCRANと既存パッケージのバージョン比較が自動的に行なわれる。だが、パッケージごとに更新してもいいか「Update (y/N/c)?…

MySQLの基本的なコマンド

普段は別のRDBMSを使っているので、MySQLのコマンドがいつも覚えられない。接続コマンドすら打てないという体たらくなので、忘れてもいいようにメモしておく。 データベース関連 接続 mysql -h host -u user -p DB表示 show databases; DBの切り替え use you…

pipでいれたパッケージを一括アップデート

pipでなんやかやパッケージを入れているのだが、これまで何をいれたのか忘れる。アップデートがあるとかそういったものは当然のように忘れる。ということで管理方法などを調べた。 パッケージの管理 まずはpipでできるコマンドから。 パッケージリストの表示…

イヤホンを買った

もう何個目かわからないくらいイヤホンは買ってる。といってもオーディオマニアとかそういうのではなく、単純になくすからだ。高いやつでそれをやっちゃうと後悔が大きいので、いつも安めのやつを買うようにしている。Beatsとか買っちゃってなくしたらきっと…

RからMySQLにつなげる

R

データをDBからとってきてRで分析がしたい インストール 僕の場合、別途debパッケージが必要だったのでそれを先にやっておく sudo apt install libmariadb-client-lgpl-dev 続いてRのパッケージをインストール install.packages(c("DBI", "RMySQL")) RからMy…

Ubuntu16でapt updateするとhashsumエラーが出る

普段使っているUbuntu15が2016/7/28でサポート切れしていた。ということでUbuntu16をこれからは使っていこうかと。LTSだし。 apt updateができない Ubuntu16のインストールまではさっくり終わったのだが、apt updateするとハッシュサムがあわないから更新し…

irisのデータセットをpandasで使う

タイトルまんまで irisをpandasで使いたい pythonのscikit-leanにはいくつかデータセットがあり、俺たちのirisももちろん用意されている。ただそれをpandasで使いたいんや。 pandas先生は自動的にいろいろやってくれる上、その後の加工にも便利。機械学習界…

医療を疑え 代替医療のトリック

サイモン・シンによるシンプソンズ関連の本が出るときいてワクワクだったけど、そういえばこれを未読だったことを思い出した。サイモン・シンファンの風上にも置けないな。 代替医療のトリック作者: サイモンシン,エツァートエルンスト,Simon Singh,Edzard E…