気になるあの人を無音写メで隠し撮りして大事に保存。でもこれって実はイケないこと？

誰にも見せずに自分だけが楽しむためだけの写真なら、本人の許可無く写真を取ることは問題ありますか？

本人の許可なく写真を撮る行為、いわゆる盗撮行為は、撮られた人の肖像権やプライバシー権を侵害する可能性があります。
このことは、たとえ誰かに写真を見せることを予定しておらず、自分だけが楽しむために撮影する場合であっても同様です。
ただし、公道等のパブリックスペースで撮影する場合と自宅やその敷地内というプライベートスペースで撮影する場合とでは、権利侵害の度合いが異なります。
すなわち、公道というパブリックスペースは、本来、他人から見られることが想定されており、プライバシー保護の要請が低いため、そこで写真撮影されたとしてもプライバシー侵害の程度も低いということになります。
一方、自宅内やその敷地内は、もっともプライベートな空間であり、本来、他人から見られることを想定されておらず、プライバシー保護の要請が高いため、そのような場所で写真撮影された場合には、プライバシー侵害の程度も高いということになります。
例えば、あるマンションに住む女性がベランダに出ているタイミングを狙って盗撮した場合、ベランダは、自宅内部でもなく、かといって公道等のパブリックスペースでもありません。
もっとも、ベランダは、自宅の一部であり、プライベートな空間であることは変わりませんので、自宅に準じたプライバシーの保護が要請されるものと考えます。
そのため、ベランダの人を盗撮するといった行為は、撮られた人のプライバシー権を侵害し、損害賠償の対象になるものと考えます。