読者です 読者をやめる 読者になる 読者になる

DISTRICT 37

なにか

プログラミングを学ぶ意味

子供にプログラミングを習わせる親が増えているらしい。実際にプログラミング教室なんかがいくつかあって驚いた。「プログラミングを習わせる意味がどうも分からないんだよね」という人がいたのでちょっと考えをまとめてみた。 プログラミングは論理的に考え…

MySQLの小ネタ

普段はWorkbenchとかプログラムとかからDBを扱っているので、CUIではあまり見ない。mysqlをふとした時にターミナルで見たりすると面食らう事があるので、いくつか使えそうなネタを調べた PAGERの指定 SELECTの結果とかをPAGERで見ることが出来る。コンソール…

Scrapyのコツ

Scrapyを作ってていくつかコツをつかんだ気がする。といっても処理側の話なので、xpathをマスターしないことにはScrapyが作れないことには変わりない。 Spiderのコツ itemをitemクラスに格納する際にはyieldをうまく使うといい。 前回やったRSSのようにデー…

ScrapyでRSSをスクレイピング

RSSリーダがすでにあるのに、スクレイピングをするなんて、、、いや、余計なことは考えない!! スパイダーを作ってアイテムに入れるまで 今回のお題としては、はてぶの人気エントリのRSSを取ってきてアイテムに入れるまで。パイプラインに関しては今回は扱…

20161228アンテナ

自身のアンテナを書くのをマネしてみた。気が付いたらまた見直そう アンテナ データサイエンス マシンラーニング MS Azure Python機械学習プログラミング ディープラーニング Keras Chainer マエショリ 技術 IOT ビーコン RaspberryPI Arduino Edison Docker…

Jupyter Notebookの設定をする

JupyterNotebookの設定をする。導入はこちら dragstar.hatenablog.com Jupyter notebookをホストのブラウザで使用する Ubuntu on Virtualboxで運用しているので、Jupyterとか使用する際にはゲスト側ではなく、ホスト側のブラウザで実行すると捗る。というこ…

Powershellでzipファイルを作る

WindowsのエクスプローラとではファイルをZIPするには任意のファイル(またはフォルダ)をクリックして選択して、右クリののちにZIPしていると思われる。でもそういったGUIでの操作よりもCUIでできないものかと思った。 ZIPをCUIで作る Windowsではcmd.exeで…

Powershellでリモート接続

WindowsでもCUIでリモート接続をしたいと思った。Powershellならできると聞いて早速試してみた。リモートデスクトップ接続しちゃえばいいじゃんなんてことは言わない!! 事前準備 まずは接続される側で設定が必要。PowerShellを起動してリモート接続をEnabl…

Rでクラスタ分析

R

前回記事と同じ内容をRで行う dragstar.hatenablog.com Rで実装 こちらもkmeansが外部ライブラリなしに利用できる。データとクラスタ数を渡すだけで結果が出る。 しかしggplot2は使わないでいると忘れる。適度にpythonとRを行ったり来たりしないとだめだなぁ…

Pythonでクラスタ分析

俺たちのirisでクラスタ分析を行う。 クラスタ分析とは 機械学習の一つで教師なし学習に分類される。データの特徴をプログラムが判定して、それぞれのクラスタに分けることが出来る。 クラスタリング分析は一般的にK-means法が使われる。データに対してまず…

DB2のautocommit設定

DB2は自動コミットがデフォルトでONになっているので、うっかり更新してしまって泣くこともしばしば。ということで自動コミット(auto-commit)の設定方法。 auto-commitのデフォルト設定 DDLでもDMLでもCLI実行時にauto-commmit関連の設定を変えることで対応…

木星の惑星エウロパから水蒸気のようなもの

www.nasa.gov プロキシマbは水の存在の可能性という事だったが、エウロパにおいて水蒸気のようなものが確認されたとNASAが発表した。日本時間の9/24にNASAが「9/26に驚くべき発表するからな」と言ったニュースがこれ。NASAはたびたびこんな感じでもったいぶ…

プロキシマ・ケンタウリbという星

wired.jp Civilizationファンならアルファ・ケンタウリという名前を聞いたことがあると思う。ゲーム内で技術を高めて宇宙船を作り、アルファ・ケンタウリに旅立てれば科学勝利となる。アルファ・ケンタウリとはケンタウルス座α星という俺たちの太陽系からも…

matplotlibが描画されない

普段コードを書くときはjupyterを使っていて、matplotlibのプロットがブラウザ内に行われるの為この問題には気付かなかった。改めてpythonのコードを書いてみて描画関連でエラーが出ていることに気が付いた。 環境 何が起こったか 解決方法 確認 原因 参考 …

Pandasの基本操作

Pandasの操作シリーズ 第二弾 前回 dragstar.hatenablog.com データの基本操作 所謂基本統計量がとれる www.mm-lab.jp 最大値の取得 df.max() 最小値の取得 df.min() 平均値の取得 df.mean() 中央値の取得 df.median() 分散の取得 df.var() 標準偏差の取得 d…

Pandasでcsvを操作

Pandasの操作シリーズ CSVファイルからPandasを作る こういうCSVデータがあったとする。 no,Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species 1,5.1 ,3.5 ,1.4 ,0.2 ,setosa 2,4.9 ,3.0 ,1.4 ,0.2 ,setosa 3,4.7 ,3.2 ,1.3 ,0.2 ,setosa まずは基…

Rのパッケージを一括アップデート

R

pythonに続きRでもそれをやる dragstar.hatenablog.com パッケージを一括アップデート update.packages() このコマンドを打ったのちにCRANと既存パッケージのバージョン比較が自動的に行なわれる。だが、パッケージごとに更新してもいいか「Update (y/N/c)?…

MySQLの基本的なコマンド

普段は別のRDBMSを使っているので、MySQLのコマンドがいつも覚えられない。接続コマンドすら打てないという体たらくなので、忘れてもいいようにメモしておく。 データベース関連 接続 mysql -h host -u user -p DB表示 show databases; DBの切り替え use you…

pipでいれたパッケージを一括アップデート

pipでなんやかやパッケージを入れているのだが、これまで何をいれたのか忘れる。アップデートがあるとかそういったものは当然のように忘れる。ということで管理方法などを調べた。 パッケージの管理 まずはpipでできるコマンドから。 パッケージリストの表示…

イヤホンを買った

もう何個目かわからないくらいイヤホンは買ってる。といってもオーディオマニアとかそういうのではなく、単純になくすからだ。高いやつでそれをやっちゃうと後悔が大きいので、いつも安めのやつを買うようにしている。Beatsとか買っちゃってなくしたらきっと…

RからMySQLにつなげる

R

データをDBからとってきてRで分析がしたい インストール 僕の場合、別途debパッケージが必要だったのでそれを先にやっておく sudo apt install libmariadb-client-lgpl-dev 続いてRのパッケージをインストール install.packages(c("DBI", "RMySQL")) RからMy…

Ubuntu16でapt updateするとhashsumエラーが出る

普段使っているUbuntu15が2016/7/28でサポート切れしていた。ということでUbuntu16をこれからは使っていこうかと。LTSだし。 apt updateができない Ubuntu16のインストールまではさっくり終わったのだが、apt updateするとハッシュサムがあわないから更新し…

irisのデータセットをpandasで使う

タイトルまんまで irisをpandasで使いたい pythonのscikit-leanにはいくつかデータセットがあり、俺たちのirisももちろん用意されている。ただそれをpandasで使いたいんや。 pandas先生は自動的にいろいろやってくれる上、その後の加工にも便利。機械学習界…

医療を疑え 代替医療のトリック

サイモン・シンによるシンプソンズ関連の本が出るときいてワクワクだったけど、そういえばこれを未読だったことを思い出した。サイモン・シンファンの風上にも置けないな。 代替医療のトリック作者: サイモンシン,エツァートエルンスト,Simon Singh,Edzard E…

Scrapyチュートリアル

インストール プロジェクトの作成 Itemの作成 Spiderの作成 shell Pipelineの作成 実行 スケジューリング 最後に インストール 前回記事より。 dragstar.hatenablog.com プロジェクトの作成 まずはプロジェクトを作る scrapy startproject tutorial ツリー構…

象のダクト

タイ料理屋の裏手で見つけた

mysqlclientでCRUDする

というよりmysql-connector-pythonがインストールできなかった。 dragstar.hatenablog.com mysql-connector-pythonをpipからインストールしようとしたら下記のエラーが出た Could not find a version that satisfies requirement mysql-connector-python(fro…

Pythonのドライバがいくつもある件

どのドライバ使えばいいんだってばよ なんでこんなにあるんだ ここにいくつもある MySQL - Python Wiki で、日本語で情報が検索できたものとしてピックアップしたのがこのへん PyMySQL mysql-connector-python MySQL-Python mysqlclient 概要を表にしてみた …

TBSラジオポッドキャストからTBSクラウドラジオへ

あーあ www.itmedia.co.jp Podcastを支えたTBSラジオ これまでAppleはいろいろなサービスをiTunesをはじめとしたプロダクトに組み込んできたが、いくつか死んでいったサービスもある。その中でPodcastは死ななかった。なぜか。PodcastはTBSラジオがあったか…

Ubuntu15.10にScrapyをインストール

データがなければ自分で加工すればいいじゃない Scrapyとは Scrapy | A Fast and Powerful Scraping and Web Crawling Framework ScrapyとはPythonのスクレイピングライブラリというかフレームワークで、Webサイトの情報を抽出することができる。要はFireFox…

何を得て、何を失ったか。映画「スリーデイズ」

いやー、こういう映画大好き。 スリーデイズ [DVD]出版社/メーカー: ジェネオン・ユニバーサル発売日: 2012/03/02メディア: DVD クリック: 2回この商品を含むブログ (19件) を見る リーアムニーソン映画ではない 繰り返す。これはリーアムニーソン映画ではな…

Pythonで近似曲線を描く

Rでやった事をPythonでもやる。 dragstar.hatenablog.com 準備 scipy numpy ライブラリはこの辺を使う。データも前回同様気象庁のデータを使います。 ライブラリの準備 import pandas as pd from matplotlib import pyplot as plt import seaborn as sns imp…

Jupyterの構築

いやぁ、捗りますね。今回はJupyterをインストールしてさらにRを使える様にする所までを。 Jupyterとは Jupyterのインストール JupyterでRを使えるようにする githubとgist terminalも使える magic command ゲストOSで起動させてホストOSで動かす まとめ Jup…

Rで近似曲線を描く

R

EXCELとかで出す近似曲線を描いた 準備 気温のプロットと、それの近似曲線を描くことを目標にします。 気象庁|過去の気象データ・ダウンロード 気象庁から5/1のとある地点のデータを持ってきます。データの内容はこんな感じで「kion_20160501.csv」という名…

JAXAに行ってきた

今週のお題「ゴールデンウィーク2016」 GWにJAXAへ行ってきた。宇宙キター JAXAいいよ、いいよJAXA 大西さんISSへ きぼうモジュール 日本のロケット技術の発展 「ひとみ」の運用断念と大西宇宙飛行士のISS搭乗 X線天文衛星ASTRO-H「ひとみ」の運用断念という…

Ubuntu15.04でpipからmatplotlibが入らない

ということで、リンク先まんまですが ng3rdstmadgke.hatenablog.com 必要ライブラリをinstallしておく 必要なライブラリはこの3つ libpng-dev libjpeg8-dev libfreetype6-dev aptを使ってインストールします。 sudo apt install libpng-dev libjpeg8-dev li…

かっこいいいペアプロット図を描く

R

pairsよりもカッコよくプロットが描けるというggpairs。もう使い古された情報だとは思うけど、微妙にうまくいかなかったので。 環境 パッケージ バージョン R 3.2.5 GGally 1.0.1 ggplot2 2.1.0 ggpairsでirisをプロット こうすればきれいなプロットができる…

マイナンバーのチェックデジット計算 python編

マイナンバーを提出するときに何回か怒られた。DBにアクセスしてるのか?と思ったけど、何のことはなく、チェックデジットを使っていた。 チェックデジットの仕様はここに書いてある。 総務省令第八十五号 ただし、 <= 1の場合は0とする という事でpythonで…

RstudioからGithubを使う

R

正規の方法からちょっとずれたかもしれないので、今回はこういった方法もあるよということで。 RstudioでSSHキーを発番 Githubにキーを登録 Githubにリポジトリを作成 RProjectの作成 Git関連の設定をする 参考 RstudioでSSHキーを発番 下記手順でSSHの暗号…

Ubuntu15.10にCRANからRをインストールする。

carパッケージを使いたいのに、依存パッケージがR 3.2.3以降じゃないとインストールできないと怒られた。aptのr-baseは現時点で3.2.2なのでCRANからRをインストールすることにした。 ということで、Rのバージョンを更新してcarを入れるまでが今回の目標。 参…

僕はノストラダムスが怖かった。Future is WILD

特別お題「青春の一冊」 with P+D MAGAZINE ということで、今週のお題「青春の一冊」 The Future is WILD フューチャー・イズ・ワイルド作者: ドゥーガル・ディクソン,ジョン・アダムス,松井孝典,土屋晶子出版社/メーカー: ダイヤモンド社発売日: 2004/01/0…

Rの文字列結合

R

ありがてぇありがてぇ RPubs - R の文字列結合が面倒くさいので色々考えてみた Rにおける文字列結合 Rにおける文字列の結合には、他の言語とは違って関数を使わないと結合してくれない。 "foo" + "bar" "foo" + "bar" でエラー: 二項演算子の引数が数値では…

ARIMAモデルで時系列分析および予測

R

Rのforecastパッケージを使うと(比較的)簡単に時系列分析ができるというので、試してみた。 なにを行うか 10分おきの温度を計測したデータが手元にあったので、ARIMAモデルを使って分析を行い、この後どのように変化するか予測を行う。 データはこんな感…

devtoolsでGithubからパッケージを取得する

R

YOU、Githubなんかで配布しないでCRANに置いちゃいなYO!! devtoolsのインストール devtoolsはCRANにいるのでインストールするところから始まるのだけど、そのdevtoolsのインストール時にはまった。なんか必要なライブラリが足りないみたい。でもそれはRの…

ggplot2で複数の折れ線を描く

R

描くたびに調べてるのでこれもメモ。melt{reshape2}の使い方が何度やっても覚えられない。 airquarity型のデータ airquality型と勝手に呼んでいるデータとは、同じ行に複数の項目(列)があって、それぞれをプロットしたい場合のケース。それぞれの項目がX軸…

POSIXあれこれ

R

Rで時系列データを扱うことになったのだけど、日付型の扱いを何度も調べているのでメモ。 POSIXct 所謂プログラミング言語では日付はdateというクラスで扱われる。Rでももちろんそうなのだけど、POSIXctという聞きなれない型を使う。だけどこれはこれで結構…

アインシュタインが予言した重力波を観測

jp.techcrunch.com アインシュタインが予言した「重力波」を観測したというニュース。一報を聞いたときにやったぜKAGRA!!ノーベル賞の確変はまだまだ続くぜ!!と思ったら、CaltechとMITのドリームチームによる研究の成果だった。本音ではKAGRAに遂げてほし…

Githubのサーバーがダウン

blog.livedoor.jp と、言うことでweb界隈のエンジニアが悲鳴をあげていました。 怒りのユニコーン そこで颯爽と現れたのがユニコーン先輩。503を返すときに現れる幻の生き物です。しかもかなりお怒りの様子です。ダウンしておいて怒りの形相とは受け手側とし…

Ubuntu15.10でRstduioを動かす

Ubuntu15.10でRstudioを入れても動かなかった。どうやら依存パッケージが足りないみたい。 パッケージのインストール 入れるパッケージは二つ。aptでインストールする。 sudo apt install libgstreamer0.10-dev sudo apt install libgstreamer-plugins-base0…

どっちの物語がいい?ライフ・オブ・パイ/トラと漂流した227日

ノンフィクションを知りたいか、それともフィクションを観たいのか。 ライフ・オブ・パイ/トラと漂流した227日 [DVD]出版社/メーカー: 20世紀フォックス・ホーム・エンターテイメント・ジャパン発売日: 2013/11/22メディア: DVDこの商品を含むブログ (12件) …