簡単なアプリケーションならSQLiteって言う選択肢もありですね。
利用方法もMySQLの時とほとんど同じだし。
System.Data.SQLiteはSQLiteと接続するためのクラスライブラリではなく、SQLiteをC#で書きなおしてSQLiteそのものをクラスライブラリ化したものです。よって、プログラムの実行には、System.Data.SQLite.dllがあれば基本的に動作します。
System.Data.SQLiteを使うためのサンプルプログラムを作成し、.NET Framewoekが導入済みでSQLiteは導入していない環境にファイルコピーして動作するかを確認してみましょう。