プログラミングに自信ニキあつまれ

プログラミングに自信ニキという2chのスレッドをまとめました。数字打ち込めばExcelとかで勝手にグラフとか表とか作ってくれるやつないんかな………などのコメント多数。

プログラムスレまとめ

1: スレ主

今Pythonのpandasていうデータ処理扱う言語勉強してるんやけどこれ勉強してもアウトプットする場所がない

 

2: ID:V95

機械学習でも勉強したら

 

5: スレ主

>>2
それがしたいんやけど何にアウトプットすればええかわからん

 

3: ID:MiK

一般人ならAIしかないやろな

 

4: ID:9LF

あるで

 

6: スレ主

何すれば身につくんやろ

 

7: ID:YYY

競技プログラミング

 

8: スレ主

>>7
atcoderみたいやつか
あれもデータ処理なん?

 

9: スレ主

競技プログラミングて実生活でも役に立つプログラミングスキル身につく?

 

10: ID:YYY

>>9
うん

 

13: スレ主

>>10
うそやな
>>11
競技プログラミングは役に立たないってスレあったわ
役に立たなそうやな

 

11: ID:MiK

つかんで

 

12: ID:6fV

機械学習やりたいならkaggleがええ

 

14: ID:MiK

ワイが立てたスレやけどな

 

15: ID:YYY

競技プログラミングは難しいからワイは嫌い

 

16: ID:Bpe

ワイjavascript派、出番なし

 

17: スレ主

>>16
とりあえずPythonでいくことにしたわ

 

23: ID:Bpe

>>17
アプリとか作る予定あるんか?
ワイはweb上で遊びたいからjavascriptにしたんやが

 

24: スレ主

>>23
作れるなら作りたい
ただどう便利なアプリが作れるのかが想像できんわ

 

18: ID:TVY

SimpleHTTPServerっていうライブラリを使ってホームページ作るところまでやってみたら?

 

19: ID:MiK

難しいっていうか意味がない事やってるからつまらない

 

20: ID:fvu

何かKaggleとかじゃないんか
この方面よう知らんが

 

21: ID:YYY

プログラミングスレ人気だよな

 

22: スレ主

機械学習とデータ処理は違うよな
データ処理の方が役に立ちそう

 

25: ID:lWh

まずは株価を取ってきます。その先は言う必要ないですよね??

 

89: ID:iN4

>>25
昔はビットコインとかは取引所によって売買価格違ったらしいから安いとこから買って高いところに売るプログラム組むだけで億り人なれたらしいわ
今は知らんけど

 

26: スレ主

数字打ち込めばExcelとかで勝手にグラフとか表とか作ってくれるやつないんかな

 

27: ID:TVY

ローカルで動くウェブアプリが一番簡単やん?
簡単にHTTPServer立てて、PythonでCGI書いて、ブラウザでアプリを使う
全部Pythonでできる

 

28: スレ主

みんなどんなアプリ作ってるんや

 

29: スレ主

作れるものが想像できなさすぎる

 

30: ID:fvu

データ解析系の人でもDjangoはともかくFlask位は出来る人多いからなぁ

 

31: ID:2xm

ワイインフラエンジニアやけど
プログラミングスレは結構立つけどインフラスレは立たんな
パソコン自作スレくらいか

今マイニングとかでもアツいと思うんやけど
皆インフラはやりたがらんのやろか

 

33: ID:TVY

>>31
ワイもインフラ系やで
みんなアプリとかゲームとかそういう自分が触ったことあるやつに興味あるだけで、システムとかコンピュータとかプログラミングには興味ないっぽい

 

36: スレ主

>>31
>>33
そっちの方が良さそうやけど全然詳しくないわ

 

39: ID:TVY

>>36
SimpleHTTPServerっていうライブラリで簡単にサーバ試しに作れるでって言うてるんや

 

41: スレ主

>>39
サーバ作れたら何ができるようになるんや?

 

43: ID:TVY

>>41
今見てるおんJもサーバからHTTPリクエストを送ることで動いてる
ブラウザでやってることはほぼすべてHTTP通信でサーバとデータをやり取りしてるんやで

 

32: ID:Bpe

何にせよ無料でアウトプットできる場所探さなアカンで
webページなら割と簡単なんやがアプリとなるとな

 

34: ID:fvu

インフラは普通の人から見た時の導線が薄すぎるかもしれん
本格的にやるなら初期投資もそこそこいるし

 

35: ID:YYY

インフラって仕事内容どんなの?

 

40: ID:2xm

>>35
部署によってマジで分野が違う
顧客のサーバ構築のためのプロダクトの性能要件調査だったり
SOAとして提案用に他社製品調べたり
ネットワーク監視したりバックアップ手法提案したり

 

37: スレ主

トリプルワイやん

 

38: ID:lWh

インフラ系ってなに?携帯基地局とかつくってるの?

 

42: ID:5Su

インフラは光ファイバー海底に敷く仕事やろ

 

44: ID:2t9

pandasとsklearnkitってやつで
エクセルの値とかをグラフ化出来たりするで
相関とかクラスタリングとかも

仕事での使い所さんは・・・ないです

 

45: ID:2t9

インフラ系ってtfとかでコード化されてるんだと思ったけど
まだAWSポチポチのほうが多いんですかね?

 

51: ID:2xm

>>45
ワアの入る案件だけの所管だとAWSどころかオンプレミスのが多いな
もちろん仮想化自体はどこもされとるけども
なんだかんだまだまだ物理ハードは現役や

 

55: ID:2t9

>>51
オンプレ知識何もないわ・・・
物理ハード持ってる所はめんどい要件持ちとかクレカとかの会社かね?

 

62: ID:2xm

>>55
セキュリティを自社で担保したいとことかやな

 

65: ID:2t9

>>62
アメリカ合衆国のデータ保管に使われたりしてるのに
これ以上のセキュリティが必要ですか?って言ってAWS使わせてるわ

 

46: ID:5Su

何の仕事か分からんけどBI方面に活かせたらええんちゃうの?知らんけど

 

47: スレ主

ほんまにわけわからんくなってきた
独学で色々やれてる人すごいな

 

48: ID:TVY

どんな仕事でも学校の授業みたいに教えてくれることはないと思うで

 

49: ID:5Su

むしろデータ分析は独学がほとんどちゃうの

 

50: スレ主

そもそもさ
分析するデータがないのにどうしろと

 

53: ID:YYY

>>50
気づいちゃったね

 

54: ID:5Su

>>50
ネットに転がってるの集めるんちゃうの
会社やったら会社のデータあるっしょ

 

56: ID:TVY

>>50
データ分析するような仕事につけば使いどころがあるで

 

59: ID:M61

>>50
スクレイピング楽しいで

 

64: スレ主

>>59
データを収集できるんやな
これで適当にデータ集めてきてデータ処理の練習材料にすればええんか?
使い方おかしいよな絶対

 

67: ID:M61

>>64
真っ当な使い方やで
ワイはエロ画像収集しかしとらんが

 

52: ID:2t9

世の中javaかjsしか需要ないんちゃうか
python使う系の仕事は修士とか多いイメージや

 

58: ID:2xm

>>52
最近oracleがjavaの商業利用で金とるようにあったからpython需要は上がるともいわれとる

 

63: ID:2t9

>>58
javaやってた人間はみんなkotlinに行くだけちゃうか・・・
typescriptもほぼ書き方同じやし

 

57: スレ主

大学の研究室で実験始まったら役には立たんかな
Excelでやった方がはやくないか

 

60: ID:2t9

データ自体は政府が出してオープンソースになってるで
csvでもないクソフォーマットだったりするけど

他の企業もAPI公開みたいな感じでやってるで

 

61: ID:5Su

アマゾンの書籍情報を集めて分析してみたいわ

 

66: ID:TVY

特定のIoT案件やらM2Mでは大抵オンプレのエッヂサーバが置かれるし、それはインフラ開発が設計構築実装する内容屋と思う
なんなら案件全体を扱うこともある

 

68: ID:2t9

python業務だとlambdaの実装にはよく使われたりはするか。

 

69: ID:2t9

pythonだとスクレイピングはbeautifulsoupかseleniumで行けるで
エクセルに書き出しもそこそこ楽や

 

70: ID:5Su

おむつとビールの売上相関とか楽しいやろ

 

71: スレ主

スクレイピング禁止のサイトとか色々気遣わないかんことあるんか?
負荷を与えるのもダメみたいで逮捕されてる人おるやん

 

72: ID:2t9

>>71
自分でスクレイピングする分にはええんちゃうか(過度なのはダメだけど)
公開したり、ウェブサービスとして提供するのが行かんかった気がするが・・・

 

73: ID:5Su

>>71
極端はアカンと思うでけど常識の範囲ならええやろ
普通にアクセスするぶんぐらいやったら

 

74: スレ主

市立の図書館の蔵書システムにアクセスして図書情報を取得した男性が逮捕されてる

 

78: ID:5Su

>>74
あれ開発者のバグのせいやのに捕まっとる
古い時代の不当逮捕や

 

75: ID:5Su

図書館に自動アプリでアクセスして逮捕された人は可愛そうや
1秒1アクセスで捕まっとるし

 

76: スレ主

これあかんのか
てかそんな簡単に図書館のシステムにアクセスできるもんなんか?

 

79: ID:2t9

>>76
スクレイピングはウェブサイトさえあれば出来るもんやろ

 

77: ID:2t9

1秒1アクセスってダメなんか
結構ハードル低いな・・・

 

86: ID:5Su

>>77
あかんことないぞ
図書館のサイトが1秒1アクセスでアップアップになったからや
こんなんサーバ開発者が悪いやろ

 

80: ID:M61

都がコロナ感染者のデータをjsonで配ってるで
スクレイピング嫌ならデータを自分で持ってくるのもありやな

 

81: ID:2t9

逮捕だけで起訴されたんか?
alertだけで逮捕起訴した兵庫県警ってのがいるよな・・・

 

82: スレ主

>>81
不起訴やって

 

85: ID:2t9

>>82
なら拘束日の儲けやw

 

83: ID:M61

https://rnavi.ndl.go.jp/research_guide/entry/post-1180.php
コロナ系ならここに色々乗ってるで

 

84: スレ主

>>83
ここなら何しても捕まらんのか?

 

88: ID:2t9

>>84
api叩いてデータ取ってくるのはたいていアクセス制限が普通にかかってるで
1分120回まで叩けるとか。

 

90: ID:M61

>>84
オープンデータやから自分でどう調理しようが勝手やで
もちろん捕まらんぞ

 

87: ID:TVY

スクレイピングは
1.サーバからHTMLのファイルデータをダウンロードしてくる(普通にブラウザでアクセスしたときと同じ動き)
2.HTMLデータの中身を文法解析
3.解析結果からほしい情報を抽出
4.その情報だけをダウンロード(普通にブラウザでアクセスしたときも同じことをしてる)
この流れを自動化してるだけやで

 

91: スレ主

逆に捕まるデータはどんなんや
どういうサイトや

 

92: ID:5Su

スクレイピングでブラウザ偽装するのは毎回気が引ける

 

93: スレ主

みんなスクレイピングして何に役立ててるんや?

 

98: ID:Plj

>>93
無料プロキシリスト拾ってきて
おんJの書き込みに使っとるよ

 

94: スレ主

そんな日常的にすることなんか

 

95: ID:5Su

スクレイピングでやることは人に言えないことやで

 

96: ID:2t9

よくあるのが品薄の商品 switchとか
販売され次第購入する転売ヤー向けのプログラム組んだりとか。

 

97: スレ主

Twitterはスクレイピングしたらダメみたいやな
利用規約に書いてるらしいけどどの部分に書かれてるのかわからん

 

102: ID:M61

>>97
API使えばええやん
制限あるけど

 

105: スレ主

>>102
せやな
まずはAPIが何者なのかから勉強せないかん

 

99: ID:2t9

まあAPIが公開されてないものをスクレイピングで補おうとしたりはする

 

100: ID:q63

漫画やエロ同人のサイトから自動で画像を収集するとか

 

101: ID:5Su

>>100
今年から違法やぞ

 

104: ID:2t9

>>101
故意のダウンロードが違法?

 

107: ID:5Su

>>104
そうやで今年からや

 

108: ID:2t9

>>107
ブラウザで閲覧するのもダウンロードになるけど
それもアウトになるんか?

 

110: ID:5Su

>>108
少量はセーフや

 

106: ID:q63

>>101>>103
あ、ワイはしてへんで、そもそも知識ないし
ただ思いつく利用法ってこれくらいやなあって

 

103: スレ主

>>100
これ普通に捕まりそうやん

 

109: ID:TVY

キャッシュはセーフや

 

111: スレ主

もしかしてスクレイピングて公の場で使ってること言ったらあかんやつか?

 

112: ID:2t9

怪しくなってきたな・・w

 

113: ID:TVY

全く問題ない

 

114: ID:2t9

apiはある条件でアクセスすれば値が返ってくるサーバーや

 

115: ID:lv1

スクレイピングは昔裁判になって
今は合法で決着ついとるで

 

116: スレ主

Amazonのレビューとか商品値段とかを自動収集てまきるってあったけどこれホンマか?
出来たとしてどういう風になるのか想像できない

 

119: ID:5Su

>>116
まあ勉強することやな この知識は決して無駄にはならんで

 

121: ID:2t9

>>116
まあ超簡単に言うとスクレイピングにはならないが
PS5のamazonページに1日3600回アクセスして、毎回HTML部分で値段を見るんや
そんでエクセルとかクラウドとかだとfirestoreとかに書き込む
これで値段変化だけは確認出来るで
値段変更したら検知するみたいな関数も用意しといたらもっとええ

 

122: スレ主

>>121
便利なのはよく分かったわ
違法になるかならないかな境目がよく分からんのが怖い

 

125: ID:2t9

>>122
1分に1回アクセス程度なら平気や

 

117: ID:5Su

国会図書館もAPI用意いとったはずや
昔は使うのに許可がいったけど今はフリーのはずや

 

118: ID:lv1

アマゾンはAPI叩けば商品情報持ってこれるで

 

120: スレ主

勉強するか
ちょっと路線変わってしもたような気がするけどpandasに戻ってこれるかな

 

引用元: プログラミングに自信ニキ

便利
スポンサー
関連記事
当サイトで掲載している画像の著作権・肖像権等は各権利所有者に帰属致します。権利を侵害する目的ではございません。記事の内容や掲載画像等に問題がございましたら、各権利所有者様本人が直接メールでご連絡下さい。確認後、対応させて頂きます。お問い合わせはこちらから。またまとめ記事など不適切な文言は随時修正しております。そのため、本スレッドと異なる部分が出てきますので予めご了承ください。
jupiter

みんなのコメント