SSH で使用する秘密鍵を 1Password で管理するようにします。
まずは 1Password アプリで新規アイテムを追加から SSH キー を選びます。既存の秘密鍵をインポートするか新規に作成します。
初回であれば開発者設定を促されるので、もしくは、設定 の 開発者 から SSHエージェントを使用 にチェックを入れて有効化します。
Windows ではこの際、Win+R から services.msc を実行して、サービスの中に OpenSSH Authentication Agent が動いていたら、無効化して停止します。(自分の環境では元々動いていませんでした。)
Git に対しては git config --global core.sshCommand "C:/Windows/System32/OpenSSH/ssh.exe" で Windows 標準の OpenSSH を使うように設定します。TortoiseGit に対しても 設定 の ネットワーク で SSH クライアントとして C:/Windows/System32/OpenSSH/ssh.exe を登録します。
これでうまく動けば、~/.ssh/config の関連設定や秘密鍵のファイルは不要になります。動作確認をしてから掃除してしまいましょう。さらに言えば、秘密鍵も新しく作り直してしまえば、ファイルとして存在したことがない秘密鍵になりより安全です。