5月24日（水）1コマ目
今日、やったこと [確認テスト]ビットシフト 誤差(オーバーフロー、アンダーフロー、丸め誤差） 今日のホワイトボード [誤差]オーバーフロー データがデータサイズ(最大値)より大きくなると発生する。 図 オーバーフロー [誤差]アンダーフロー 浮動小数点データが最小値より小さくなると発生する。 図 アンダーフロー [誤差]丸め誤差 浮動小数点形式の場合、仮数部がデータサイズより大きい場合に発生。 2進数に変換、正規化した結果、仮数部がデータサイズ(floatなら23ビット、doubleなら52ビット)より大きい場合、データサイズ内に収めるため、floatなら24ビット目以降、doubleなら53ビット目以降を切り上げまたは切り捨てる。これが丸め。 丸めをすると、元のデータから誤差ができる。これが丸め誤差。 図 丸め誤差 次回は 誤差の続きをやります。 テストはしません。