maandag 29 september 2014

Grote getallen in PowerShell - deel 2

PowerShell rekent met [Decimal] met grote precisie.

Nu sept 2014 is Project Euler weer leuk aan het worden. Voor probleem 26 "Reciprocal cycles" is het handig om een precisie te hebben die groter is die van voor standaard datatypen. Ik wil liefst enkele tientallen cijfers achter de komman. Het .NET data type [System.Decimal]  of kortweg [Decimal] kan dat! [Decimal] geeft 30 cijfers precisie of in het geval van een breuk 28 cijfers achter de komma.


Voorbeeld:

Gewone getallen zoals 

$a = 1/7
$a

wordt bewaard in een double-variable en dit geeft 0,142857142857143, een precisie van 15 cijfers achter de komma . Maar een decimal-type zoals

[System.Decimal]$b = 1
$b = $b/7
$b

geeft 0,1428571428571428571428571429  en heeft 28 cijfers precisie!

Lees meer in Data type Summary  

Geen opmerkingen:

Een reactie posten