09月16日

質問者さん

データ解析と程遠い職についておりますがこの度業務で統計解析をする必要があり重回帰分析を行いました。その際に上司からモデルの性能がある一定水準を超えないためモデルに沿わないデータを削除するように指示を受けました。その後指定を受けたデータを削除し、データ量が1/4となった上でモデルの性能は変化しませんでしたが上司からはデータを削除したモデルを採用するようにと指示を受けました。 以下のことから初歩的な質問で恐縮ですが2点質問させて頂きます。理由なくデータを削除しモデルを作成することは特に問題ないのでしょうか。また、上司は十数年前に統計解析を勉強したと聞いておりますが以前はこのような進め方が一般的だったのでしょうか。勿論ですが業務は上司の指示通り進める予定です。

09月17日

TJO

TJOさん

それは典型的なcherry picking(p-hackingも恐らく兼ねる)であって、分析の再現性を損なう不正行為です。その上司という人が十数年前にどの分野で統計分析を学んだかにもよりますが、例えば心理学やバイオ系ではそのような「有意性を得るためのデータ改竄」が横行していたのは事実ですね。 https://tjo.hatenablog.com/entry/2022/07/06/170000

TJOさんに
質問してみましょう!

Takashi J Ozaki, PhD / Data Scientist since 2012 / https://tjo.hatenablog.com / All opinions are totally personal & my own

ある程度回答したい質問を絞っているので、回答されなくても悪しからずご了承あれ。別の質問に対する回答を質問で行う行為は、原則としてご遠慮ください。感謝の言葉は有難いのですが、TLの整理のため確認後削除してます。回答ツイートは定期的にクリーニングするため、後に残らない可能性が高いです

関連する質問

09月17日

続き質問

cherry pickingに関する書籍はありますでしょうか?

TJOさんが

「いいね」した質問

いいね!

06月07日

続き質問

まさかここれほど丁寧に返事していただけるとは思っていませんでした。ありがとうございます。 正直、進路選択というテーマで視野が狭くなり、色々な事を考えているうちに自分の本当の目的から離れていってました。その目的を再度思い出させていただき、迷いが無くなった気がします。今のところは高専に行こうかなと思っています! また、TJOさんの挙げられていた高専から編入した例の方々の話を聞いて夢が膨らみました! 今までGoogle、とか、社会で活躍、というお話は自分は無縁の世界だと勝手に思い込んでいましたが、お返事を読んでいく中で、可能性もゼロじゃない気がして、自分もそんな所で好きなようにできたら楽しいだろうなあと興奮しました。 TJOさんから進路選択以外でも貴重なお話を聞けて、質問して良かったです! ありがとうございました。 いつかどこかで会えたらあの時質問した者ですとお礼を言えるように頑張りたいと思います。笑

TJOさんが

最近答えた質問

1時間前

血栓があった頃と今とで何か違いは感じますか?

1時間前

普段numpyをnp、pandasをpdと略してimportしますか?

2時間前

生理痛で会社を休むのはアリですか?

TJOさんの

人気回答質問

09月22日

個人的にはDS/AIブームは意外と冷めるのが遅いなという印象なのですが、DS界の第一人者のTJOさんからみたらどうでしょう

09月24日

真剣な相談です。ある某大手企業でデータサイエンスの仕事をしています。リーダー(管理職、直属上司)はとても良い人で、私との仲も割と良好です。 でも分析系のスキルがあまりないです。もっと言ってしまうと仕事自体はあまりできないです。プロジェクトでも抽象的な掛け声的なことはするのですが、分析スキルなどは皆無であるため、それを実際に分析できるレベルに落とし込みアウトプットはほとんど私(と他1名の同僚)がやっています。でも最終的なアウトプットは上司の名義なので。。 会社での評価はリーダーばかりが凄まじい勢いで上がっていき、自分は微々たるレベルです。何かモヤモヤしています。いつか自分を引き上げてくれるのかなあ、とか思ってます。この状態が3年近く続いています。 こういうのって変な悩みですかね?TJOさんならどうしますか?

09月24日

現在27歳でD2です。 最終的に外資企業で、できるなら本社で働いてみたいと思っています。 ガッツリしたエンジニアというよりは、ビジネス寄りの職が良いと思っています。 ただ、これまでに海外経験が少なく、英語が不安です。 そこで、以下の2つで迷っています。 (1) DまたはPDの間に、研究目的で海外経験を半年~一年つみ、就活する (2) とりあえずDが終わり次第就職する(国内企業でも) その後、外資を目指す 専門は、工学系のように産業がある分野ではなく、心理学に近いです。 データはよく扱います。 ご意見をいただけると幸いです。 (外資や英語...という意識があるのは、今後、海外に行けるという選択肢が自分にあった方が、それなりにお金を稼ぎながら安心しながら生活できると思っているからです。)