Compare commits
274 Commits
Author | SHA1 | Date | |
---|---|---|---|
cde492c279 | |||
922c8bf7a3 | |||
a0a28c76f7 | |||
a1f4d2bc1c | |||
e5fb95ceb0 | |||
9ef5986288 | |||
42146c5e8a | |||
e6b91f70cb | |||
657f4a60d5 | |||
839c740cb1 | |||
2bd612fd19 | |||
fc53779d3f | |||
7bdc778390 | |||
97358ebc6c | |||
4834b36271 | |||
53df12897b | |||
4ac890d7d3 | |||
b79657f0d2 | |||
9429e7bb14 | |||
4fd37e84f8 | |||
e46e45ad5a | |||
e79c75df81 | |||
a6dfb3a19e | |||
2af0db04bd | |||
2c9867c577 | |||
47b394d8c3 | |||
ede0107fd7 | |||
7d5dda1cba | |||
e5f83c22fa | |||
a4de1cc754 | |||
8d3cdb8862 | |||
ba1bd35d4a | |||
dfacabd88b | |||
aa306d9050 | |||
10019d7df9 | |||
ae36296ca6 | |||
56406fb593 | |||
ec9b2db4b9 | |||
f5d0c2af8f | |||
c62dc4063e | |||
3789853d98 | |||
f0d016bcde | |||
70e96c62b3 | |||
b723d763c8 | |||
508297f36f | |||
4b0134713c | |||
5b90286b70 | |||
8443f1b385 | |||
c9050c1a8e | |||
bdf87570e2 | |||
faa44b6704 | |||
278e851414 | |||
6f549df243 | |||
4633bcc680 | |||
dc39efd316 | |||
260937e4fb | |||
e17fff2881 | |||
bc32511254 | |||
f30972f948 | |||
ea33ca62c8 | |||
0f365758e1 | |||
2815b53a88 | |||
6c0588164a | |||
8ee1d647ce | |||
25791775e6 | |||
f013e2f1f4 | |||
ac3935d71b | |||
b1c217e272 | |||
d007aaa310 | |||
8aaf9e14be | |||
ae3e6b46f6 | |||
8687df1fbb | |||
ba0aff6737 | |||
a648e2120a | |||
bc61809050 | |||
8c42cbfd63 | |||
58664570f9 | |||
decb82f437 | |||
357c7e279d | |||
32e19c8b58 | |||
f5c6c5b483 | |||
ba2d086fb8 | |||
7a0241b484 | |||
36dad80e18 | |||
29d883150e | |||
e2bed0cfcb | |||
38afeac071 | |||
001c7c3e33 | |||
d4ab339feb | |||
8477312769 | |||
67f90e137d | |||
f264fd5597 | |||
9e75620f1b | |||
45825946c0 | |||
8afb552d59 | |||
e4091669f8 | |||
1cb9349226 | |||
06620dc5df | |||
708d95db49 | |||
85d9361bfb | |||
a6a6f496eb | |||
db12f03264 | |||
231aedb8ad | |||
c3b63ee40d | |||
6f405c5e08 | |||
16cf8478cf | |||
8915a0c7a7 | |||
e5c7edb72c | |||
64e0d666ed | |||
f2aac680c5 | |||
65c3ca14ec | |||
4fa47153ba | |||
d629525a4b | |||
33d321f0d7 | |||
3d64d59ba9 | |||
4635835a99 | |||
8725ec5f20 | |||
9a4c8cea06 | |||
eb360bda38 | |||
4b1cd2cbfd | |||
628153e2e8 | |||
7aa9ac9f4a | |||
cd944a61b7 | |||
8156d0fe3a | |||
47ef787353 | |||
6436ad49df | |||
e1964e47a5 | |||
6e2ce5d686 | |||
ba6bf554fb | |||
b1d2b9bd9e | |||
9b953198fa | |||
bc2a6d2703 | |||
b458250ad7 | |||
b08d5e5d83 | |||
445b872e91 | |||
5e16fe98d6 | |||
647cfe03c2 | |||
4cd6126d6b | |||
b870179a35 | |||
aabb4fb534 | |||
4d8b95812e | |||
e921413249 | |||
49cae88645 | |||
402fdfae89 | |||
7892c1a930 | |||
b90517580e | |||
85380ac3fc | |||
b90c56395c | |||
d0ada39fa7 | |||
f4145abfd1 | |||
093d499729 | |||
f90a03501b | |||
c6a99b114e | |||
43319e4e3a | |||
33dbf042c2 | |||
3c23aca6a6 | |||
885fca9b5e | |||
074d027629 | |||
70632d975d | |||
d210a39249 | |||
e86ff63f91 | |||
3454a1965a | |||
c41fa2e98f | |||
a012ca4003 | |||
f4b90d8b51 | |||
b74e5aa4ee | |||
44ac15ab78 | |||
b1b652b943 | |||
530a482402 | |||
f9023cf0ab | |||
0e91ea6786 | |||
63c6226a2a | |||
48a49c2a2d | |||
43c28b749d | |||
241767df13 | |||
b2baba9237 | |||
3e36ec0984 | |||
5be89e4858 | |||
a48d9cb739 | |||
a7206cbd02 | |||
1450a6adfe | |||
5fa9bd7b49 | |||
c7eb233fc7 | |||
20c8b659d1 | |||
4ea9c2b740 | |||
48205b2fc9 | |||
f5fe7bec4a | |||
c567b88d5d | |||
fe884541fc | |||
8973bdb2af | |||
4c4e65b373 | |||
7bed7f039f | |||
8ddea0aa46 | |||
cb6cc65113 | |||
4de42ca227 | |||
ab930657b6 | |||
291920b479 | |||
999c9bdb0f | |||
405b6d9f9f | |||
87b74b2542 | |||
d6514cb515 | |||
976eb4bfbc | |||
fb843e3473 | |||
f3d48234c0 | |||
254b881da6 | |||
8e0b742748 | |||
a35e04c049 | |||
4271c8583e | |||
e27d0fe58c | |||
67952dabdb | |||
b8d5d4c2bd | |||
b6413823cd | |||
48e355b87f | |||
b3f4ea572e | |||
c73e704421 | |||
0561e96f21 | |||
86d87430da | |||
0156c5a883 | |||
c966b42ac3 | |||
200fff3714 | |||
28755b4d01 | |||
8bd6a14988 | |||
b41dcc9f37 | |||
38addb7a5b | |||
f7fb89fed0 | |||
e32af2d09e | |||
f1bc4dc2e2 | |||
40857e69b7 | |||
c1fb89af99 | |||
061cd6264b | |||
f437dafa6b | |||
54d0597657 | |||
ab9f96e0c7 | |||
711855474c | |||
b20f367aa8 | |||
a2dadda511 | |||
77dca31261 | |||
b87aed4395 | |||
42bbb3b023 | |||
4309a30dfe | |||
9362287938 | |||
78bd901339 | |||
c8e6d44f7b | |||
f75433e0e6 | |||
fa607141e4 | |||
b3fdd6fd4a | |||
86c08e7af6 | |||
1c5796eb96 | |||
f7f92e7906 | |||
1123d01e6c | |||
c53d319337 | |||
7c36dbb8f0 | |||
dd3becf6b7 | |||
b78ecdf4c5 | |||
a4aa5bcb2e | |||
edd3ec4b32 | |||
9fdcef86e7 | |||
ed0eb4ac74 | |||
192ee20bf7 | |||
965ca0088e | |||
b752acdff7 | |||
cbeb0395f9 | |||
5e6f8446d8 | |||
79a7b840f7 | |||
6b093cd5fa | |||
154e2f2ff7 | |||
e9a0a93d3c | |||
da5dc276d5 | |||
721bb110e5 | |||
9241ec503c | |||
c2afb07ff6 | |||
698660c4c8 | |||
be9181698a | |||
25c292662a |
9
.editorconfig
Normal file
9
.editorconfig
Normal file
@ -0,0 +1,9 @@
|
|||||||
|
root = true
|
||||||
|
|
||||||
|
[*]
|
||||||
|
end_of_line = lf
|
||||||
|
insert_final_newline = true
|
||||||
|
charset = utf-8
|
||||||
|
indent_style = space
|
||||||
|
indent_size = 4
|
||||||
|
trim_trailing_whitespace = true
|
12
.gitignore
vendored
12
.gitignore
vendored
@ -1,2 +1,14 @@
|
|||||||
|
# Binary
|
||||||
|
*.[oa]
|
||||||
|
*.exe
|
||||||
|
|
||||||
|
# D
|
||||||
.dub
|
.dub
|
||||||
__test__*__
|
__test__*__
|
||||||
|
__test__*__.core
|
||||||
|
/tanya-test-library*
|
||||||
|
|
||||||
|
/docs/
|
||||||
|
/docs.json
|
||||||
|
|
||||||
|
/*.lst
|
||||||
|
38
.travis.yml
Normal file
38
.travis.yml
Normal file
@ -0,0 +1,38 @@
|
|||||||
|
sudo: false
|
||||||
|
|
||||||
|
os:
|
||||||
|
- linux
|
||||||
|
- osx
|
||||||
|
|
||||||
|
language: d
|
||||||
|
|
||||||
|
d:
|
||||||
|
- dmd-2.075.0
|
||||||
|
- dmd-2.074.1
|
||||||
|
- dmd-2.073.2
|
||||||
|
- dmd-2.072.2
|
||||||
|
- dmd-2.071.2
|
||||||
|
|
||||||
|
env:
|
||||||
|
matrix:
|
||||||
|
- ARCH=x86_64
|
||||||
|
- ARCH=x86
|
||||||
|
|
||||||
|
addons:
|
||||||
|
apt:
|
||||||
|
packages:
|
||||||
|
- gcc-multilib
|
||||||
|
|
||||||
|
before_script:
|
||||||
|
- if [ "$PS1" = '(dmd-2.075.0)' ]; then
|
||||||
|
export UNITTEST="unittest-cov";
|
||||||
|
fi
|
||||||
|
|
||||||
|
script:
|
||||||
|
- dub test -b ${UNITTEST:-unittest} --arch=$ARCH --compiler=$DC
|
||||||
|
- if [ "$UNITTEST" = "unittest-cov" -a "$ARCH" = "x86_64" -a "$TRAVIS_OS_NAME" = "linux" ]; then
|
||||||
|
dub fetch dscanner && dub run dscanner -- -Isource --styleCheck;
|
||||||
|
fi
|
||||||
|
|
||||||
|
after_success:
|
||||||
|
- test "$UNITTEST" = "unittest-cov" && bash <(curl -s https://codecov.io/bash)
|
5
CODE_OF_CONDUCT.md
Normal file
5
CODE_OF_CONDUCT.md
Normal file
@ -0,0 +1,5 @@
|
|||||||
|
# Contributor Code of Conduct
|
||||||
|
|
||||||
|
This project adheres to No Code of Conduct. We are all adults. We accept anyone's contributions. Nothing else matters.
|
||||||
|
|
||||||
|
For more information please visit the [No Code of Conduct](https://github.com/domgetter/NCoC) homepage.
|
92
CONTRIBUTING.md
Normal file
92
CONTRIBUTING.md
Normal file
@ -0,0 +1,92 @@
|
|||||||
|
# Contributing
|
||||||
|
|
||||||
|
Tanya is a project in active development, therefore any help is appreciated. Thank you for considering contributing
|
||||||
|
to it, feel welcome.
|
||||||
|
These guidelines describe ways to get started.
|
||||||
|
|
||||||
|
|
||||||
|
## Ways to get involved
|
||||||
|
|
||||||
|
* **Reporting a problem**: [Report](https://issues.caraus.io/projects/tanya/issues) bugs and usage problems you
|
||||||
|
encounter.
|
||||||
|
* **Fixing issues**: [The bug tracker](https://issues.caraus.io/projects/tanya/issues) contains a list of issues you
|
||||||
|
can work on.
|
||||||
|
* **Documentation**: You can improve API documentation by correcting grammar errors, completing existing texts and
|
||||||
|
writing new ones, or providing usage examples.
|
||||||
|
* **Testing**: Test coverage is important for a library. Writing tests is not only helpful, but is also a great way
|
||||||
|
to get a feel for how tanya works.
|
||||||
|
* **Adding new features**: Tanya is a growing library. If you think some feature is missing, you can suggest
|
||||||
|
and implement this.
|
||||||
|
|
||||||
|
|
||||||
|
## Opening an issue
|
||||||
|
|
||||||
|
If you have found a bug, an error, have some question, or suggestion, open in issue. I'll try to answer as soon
|
||||||
|
as I can. Tanya uses an external
|
||||||
|
[bug tracker](https://issues.caraus.io/projects/tanya/issues). You should
|
||||||
|
[register](https://issues.caraus.io/account/register) before you can report your issue. There is also a list
|
||||||
|
of open issues that mirror the current development process and progress. If you're looking for a challenge, just
|
||||||
|
pick an issue you are interested in and start working on it. Fill free to comment on the issue to get more
|
||||||
|
information.
|
||||||
|
|
||||||
|
Some issues have a category assigned to them. Such issues belong mostly to a larger part of the library that is
|
||||||
|
currently in development. The category specifies then the git branch development happens on. The remaining issues
|
||||||
|
can be fixed directly in master.
|
||||||
|
|
||||||
|
In the [roadmap](https://issues.caraus.io/projects/tanya/roadmap) you can find a list of issues that are planned
|
||||||
|
to be fixed till a specific release. Version numbers refer to the versions in the
|
||||||
|
[git repository](https://github.com/caraus-ecms/tanya/releases).
|
||||||
|
|
||||||
|
|
||||||
|
## Contribution process
|
||||||
|
|
||||||
|
### Creating a pull request
|
||||||
|
|
||||||
|
I accept GitHub pull requests. Creating a pull request is like sending a patch with the suggested change.
|
||||||
|
First you have to [fork](https://guides.github.com/activities/forking/) the repository. Clone your fork locally
|
||||||
|
with `git clone` and create a new branch where you want to work, for example:
|
||||||
|
|
||||||
|
```shell
|
||||||
|
git checkout -b bugfix-x
|
||||||
|
```
|
||||||
|
Commit your changes to your fork:
|
||||||
|
|
||||||
|
```shell
|
||||||
|
git commit -m "Fix X"
|
||||||
|
git push -u origin bugfix-x
|
||||||
|
```
|
||||||
|
|
||||||
|
After that if you visit your fork on GitHub, GitHub will suggest to create pull request. Just follow the steps
|
||||||
|
described on GitHub to finish the process. See
|
||||||
|
[Using Pull Requests](https://help.github.com/articles/about-pull-requests/) for more information.
|
||||||
|
|
||||||
|
Please ensure that your fork is even with the upstream (original) repository. If not, you have to rebase your branch
|
||||||
|
on upstream/master before submitting a pull request. See https://help.github.com/articles/syncing-a-fork/ for a
|
||||||
|
step-by-step guide.
|
||||||
|
|
||||||
|
### Fixing a bug
|
||||||
|
|
||||||
|
Add an unittest that demonstrates the bug along with a short description:
|
||||||
|
|
||||||
|
```d
|
||||||
|
// Issue ###: https://issues.caraus.io/issues/###.
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Adding new features
|
||||||
|
|
||||||
|
* Use Ddoc to document the feature.
|
||||||
|
* Add some unittests that prevent new bugs and demonstrate how the feature is supposed to work.
|
||||||
|
|
||||||
|
### Style guide
|
||||||
|
|
||||||
|
Make sure your changes follow [The D Style](https://dlang.org/dstyle.html) (including
|
||||||
|
[Additional Requirements for Phobos](https://dlang.org/dstyle.html#phobos).
|
||||||
|
|
||||||
|
|
||||||
|
## Questions and suggestions
|
||||||
|
|
||||||
|
* [Open an issue](https://issues.caraus.io/projects/tanya/issues)
|
||||||
|
* [Send an email](mailto:info@caraus.de)
|
177
README.md
Normal file
177
README.md
Normal file
@ -0,0 +1,177 @@
|
|||||||
|
# Tanya
|
||||||
|
|
||||||
|
[](https://travis-ci.org/caraus-ecms/tanya)
|
||||||
|
[](https://ci.appveyor.com/project/belka-ew/tanya/branch/master)
|
||||||
|
[](https://codecov.io/gh/caraus-ecms/tanya)
|
||||||
|
[](https://code.dlang.org/packages/tanya)
|
||||||
|
[](https://code.dlang.org/packages/tanya)
|
||||||
|
[](https://raw.githubusercontent.com/caraus-ecms/tanya/master/LICENSE)
|
||||||
|
|
||||||
|
Tanya is a general purpose library for D programming language.
|
||||||
|
|
||||||
|
Its aim is to simplify the manual memory management in D and to provide a
|
||||||
|
guarantee with @nogc attribute that there are no hidden allocations on the
|
||||||
|
Garbage Collector heap. Everything in the library is usable in @nogc code.
|
||||||
|
Tanya extends Phobos functionality and provides alternative implementations for
|
||||||
|
data structures and utilities that depend on the Garbage Collector in Phobos.
|
||||||
|
|
||||||
|
* [Bug tracker](https://issues.caraus.io/projects/tanya/issues)
|
||||||
|
* [Documentation](https://docs.caraus.io/tanya)
|
||||||
|
* [Contribution guidelines](CONTRIBUTING.md)
|
||||||
|
|
||||||
|
|
||||||
|
## Overview
|
||||||
|
|
||||||
|
Tanya consists of the following packages and (top-level) modules:
|
||||||
|
|
||||||
|
* `async`: Event loop (epoll, kqueue and IOCP).
|
||||||
|
* `container`: Queue, Array, Singly and doubly linked lists, Buffers, UTF-8
|
||||||
|
string, Hash set.
|
||||||
|
* `format`: Formatting and conversion functions.
|
||||||
|
* `math`: Arbitrary precision integer and a set of functions.
|
||||||
|
* `memory`: Tools for manual memory management (allocators, smart pointers).
|
||||||
|
* `net`: URL-Parsing, network programming.
|
||||||
|
* `network`: Socket implementation. `network` is currently under rework.
|
||||||
|
After finishing the new socket implementation will land in the `net` package and
|
||||||
|
`network` will be deprecated.
|
||||||
|
* `os`: Platform-independent interfaces to operating system functionality.
|
||||||
|
* `typecons`: Templates that allow to build new types based on the available
|
||||||
|
ones.
|
||||||
|
|
||||||
|
|
||||||
|
## Basic usage
|
||||||
|
|
||||||
|
### Allocators
|
||||||
|
|
||||||
|
Memory management is done with allocators. Instead of using `new` to create an
|
||||||
|
instance of a class, an allocator is used:
|
||||||
|
|
||||||
|
```d
|
||||||
|
import tanya.memory;
|
||||||
|
|
||||||
|
class A
|
||||||
|
{
|
||||||
|
this(int arg)
|
||||||
|
{
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
A a = defaultAllocator.make!A(5);
|
||||||
|
|
||||||
|
defaultAllocator.dispose(a);
|
||||||
|
```
|
||||||
|
|
||||||
|
As you can see, the user is responsible for deallocation, therefore `dispose`
|
||||||
|
is called at the end.
|
||||||
|
|
||||||
|
If you want to change the `defaultAllocator` to something different, you
|
||||||
|
probably want to do it at the program's beginning. Or you can invoke another
|
||||||
|
allocator directly. It is important to ensure that the object is destroyed
|
||||||
|
using the same allocator that was used to allocate it.
|
||||||
|
|
||||||
|
What if I get an allocated object from some function? The generic rule is: If
|
||||||
|
you haven't requested the memory yourself (with `make`), you don't need to free
|
||||||
|
it.
|
||||||
|
|
||||||
|
`tanya.memory.smartref` contains smart pointers, helpers that can take care of
|
||||||
|
a proper deallocation in some cases for you.
|
||||||
|
|
||||||
|
### Exceptions
|
||||||
|
|
||||||
|
Since exceptions are normal classes in D, they are allocated and dellocated the
|
||||||
|
same as described above, but:
|
||||||
|
|
||||||
|
1. The caller is **always** responsible for destroying a caught exception.
|
||||||
|
2. Exceptions are **always** allocated and should be always allocated with the
|
||||||
|
`defaultAllocator`.
|
||||||
|
|
||||||
|
```d
|
||||||
|
import tanya.memory;
|
||||||
|
|
||||||
|
void functionThatThrows()
|
||||||
|
{
|
||||||
|
throw defaultAlocator.make!Exception("An error occurred");
|
||||||
|
}
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
functionThatThrows()
|
||||||
|
}
|
||||||
|
catch (Exception e)
|
||||||
|
{
|
||||||
|
defaultAllocator.dispose(e);
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
### Containers
|
||||||
|
|
||||||
|
Arrays are commonly used in programming. D's built-in arrays often rely on the
|
||||||
|
GC. It is inconvenient to change their size, reserve memory for future use and
|
||||||
|
so on. Containers can help here. The following example demonstrates how
|
||||||
|
`tanya.container.array.Array` can be used instead of `int[]`.
|
||||||
|
|
||||||
|
```d
|
||||||
|
import tanya.container.array;
|
||||||
|
|
||||||
|
Array!int arr;
|
||||||
|
|
||||||
|
// Reserve memory if I know that my container will contain approximately 15
|
||||||
|
// elements.
|
||||||
|
arr.reserve(15);
|
||||||
|
|
||||||
|
arr.insertBack(5); // Add one element.
|
||||||
|
arr.length = 10; // New elements are initialized to 0.
|
||||||
|
|
||||||
|
// Iterate over the first five elements.
|
||||||
|
foreach (el; arr[0 .. 5])
|
||||||
|
{
|
||||||
|
}
|
||||||
|
|
||||||
|
int i = arr[7]; // Access 7th element.
|
||||||
|
```
|
||||||
|
|
||||||
|
There are more containers in the `tanya.container` package.
|
||||||
|
|
||||||
|
|
||||||
|
## Development
|
||||||
|
|
||||||
|
### Supported compilers
|
||||||
|
|
||||||
|
| dmd |
|
||||||
|
|:-------:|
|
||||||
|
| 2.075.0 |
|
||||||
|
| 2.074.1 |
|
||||||
|
| 2.073.2 |
|
||||||
|
| 2.072.2 |
|
||||||
|
| 2.071.2 |
|
||||||
|
|
||||||
|
### Current status
|
||||||
|
|
||||||
|
Following modules are under development:
|
||||||
|
|
||||||
|
| Feature | Branch | Build status |
|
||||||
|
|----------|:---------:|-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
|
||||||
|
| BitArray | bitvector | [](https://travis-ci.org/caraus-ecms/tanya) [](https://ci.appveyor.com/project/belka-ew/tanya/branch/bitvector) |
|
||||||
|
| TLS | crypto | [](https://travis-ci.org/caraus-ecms/tanya) [](https://ci.appveyor.com/project/belka-ew/tanya/branch/crypto) |
|
||||||
|
| File IO | io | [](https://travis-ci.org/caraus-ecms/tanya) [](https://ci.appveyor.com/project/belka-ew/tanya/branch/io) |
|
||||||
|
|
||||||
|
### Release management
|
||||||
|
|
||||||
|
3-week release cycle.
|
||||||
|
|
||||||
|
Deprecated features are removed after one release (in approximately 6 weeks after deprecating).
|
||||||
|
|
||||||
|
## Further characteristics
|
||||||
|
|
||||||
|
* Tanya is a native D library without any external dependencies.
|
||||||
|
|
||||||
|
* Tanya is cross-platform. The development happens on a 64-bit Linux, but it
|
||||||
|
is being tested on Windows and FreeBSD as well.
|
||||||
|
|
||||||
|
* The library isn't thread-safe yet.
|
||||||
|
|
||||||
|
|
||||||
|
## Feedback
|
||||||
|
|
||||||
|
Any feedback about your experience with tanya would be greatly appreciated. Feel free to
|
||||||
|
[contact me](mailto:info@caraus.de).
|
78
appveyor.yml
Normal file
78
appveyor.yml
Normal file
@ -0,0 +1,78 @@
|
|||||||
|
platform: x64
|
||||||
|
os: Visual Studio 2015
|
||||||
|
|
||||||
|
environment:
|
||||||
|
matrix:
|
||||||
|
- DC: dmd
|
||||||
|
DVersion: 2.075.0
|
||||||
|
arch: x64
|
||||||
|
- DC: dmd
|
||||||
|
DVersion: 2.075.0
|
||||||
|
arch: x86
|
||||||
|
- DC: dmd
|
||||||
|
DVersion: 2.074.1
|
||||||
|
arch: x64
|
||||||
|
- DC: dmd
|
||||||
|
DVersion: 2.074.1
|
||||||
|
arch: x86
|
||||||
|
- DC: dmd
|
||||||
|
DVersion: 2.073.2
|
||||||
|
arch: x64
|
||||||
|
- DC: dmd
|
||||||
|
DVersion: 2.073.2
|
||||||
|
arch: x86
|
||||||
|
- DC: dmd
|
||||||
|
DVersion: 2.072.2
|
||||||
|
arch: x64
|
||||||
|
- DC: dmd
|
||||||
|
DVersion: 2.072.2
|
||||||
|
arch: x86
|
||||||
|
- DC: dmd
|
||||||
|
DVersion: 2.071.2
|
||||||
|
arch: x64
|
||||||
|
- DC: dmd
|
||||||
|
DVersion: 2.071.2
|
||||||
|
arch: x86
|
||||||
|
|
||||||
|
skip_tags: true
|
||||||
|
|
||||||
|
install:
|
||||||
|
- ps: function SetUpDCompiler
|
||||||
|
{
|
||||||
|
$env:toolchain = "msvc";
|
||||||
|
$version = $env:DVersion;
|
||||||
|
Invoke-WebRequest "http://downloads.dlang.org/releases/2.x/$($version)/dmd.$($version).windows.7z" -OutFile "c:\dmd.7z";
|
||||||
|
echo "finished.";
|
||||||
|
pushd c:\\;
|
||||||
|
7z x dmd.7z > $null;
|
||||||
|
popd;
|
||||||
|
}
|
||||||
|
- ps: SetUpDCompiler
|
||||||
|
|
||||||
|
- ps: if($env:DVersion -eq "2.071.2"){
|
||||||
|
Invoke-WebRequest "http://code.dlang.org/files/dub-1.2.1-windows-x86.zip" -OutFile "dub.zip";
|
||||||
|
7z x dub.zip -odub > $null;
|
||||||
|
Move-Item "dub/dub.exe" "C:\dmd2\windows\bin"
|
||||||
|
}
|
||||||
|
|
||||||
|
before_build:
|
||||||
|
- ps: if($env:arch -eq "x86"){
|
||||||
|
$env:compilersetupargs = "x86";
|
||||||
|
$env:Darch = "x86";
|
||||||
|
}
|
||||||
|
elseif($env:arch -eq "x64"){
|
||||||
|
$env:compilersetupargs = "amd64";
|
||||||
|
$env:Darch = "x86_64";
|
||||||
|
}
|
||||||
|
- ps: $env:PATH += ";C:\dmd2\windows\bin;";
|
||||||
|
- call "C:\Program Files (x86)\Microsoft Visual Studio 14.0\VC\vcvarsall" %compilersetupargs%
|
||||||
|
|
||||||
|
build_script:
|
||||||
|
- echo dummy build script - dont remove me
|
||||||
|
|
||||||
|
test_script:
|
||||||
|
- echo %Darch%
|
||||||
|
- echo %PATH%
|
||||||
|
- 'dub --version'
|
||||||
|
- '%DC% --version'
|
||||||
|
- dub test -b unittest --arch=%Darch% --compiler=%DC%
|
3
codecov.yml
Normal file
3
codecov.yml
Normal file
@ -0,0 +1,3 @@
|
|||||||
|
ignore:
|
||||||
|
- "source/tanya/async/event/iocp.d"
|
||||||
|
- "source/tanya/async/iocp.d"
|
81
dscanner.ini
Normal file
81
dscanner.ini
Normal file
@ -0,0 +1,81 @@
|
|||||||
|
; Configure which static analysis checks are skip-unittest
|
||||||
|
[analysis.config.StaticAnalysisConfig]
|
||||||
|
; Check variable, class, struct, interface, union, and function names against t
|
||||||
|
; he Phobos style guide
|
||||||
|
style_check="disabled"
|
||||||
|
; Check for array literals that cause unnecessary allocation
|
||||||
|
enum_array_literal_check="skip-unittest"
|
||||||
|
; Check for poor exception handling practices
|
||||||
|
exception_check="skip-unittest"
|
||||||
|
; Check for use of the deprecated 'delete' keyword
|
||||||
|
delete_check="skip-unittest"
|
||||||
|
; Check for use of the deprecated floating point operators
|
||||||
|
float_operator_check="skip-unittest"
|
||||||
|
; Check number literals for readability
|
||||||
|
number_style_check="disabled"
|
||||||
|
; Checks that opEquals, opCmp, toHash, and toString are either const, immutable
|
||||||
|
; , or inout.
|
||||||
|
object_const_check="disabled"
|
||||||
|
; Checks for .. expressions where the left side is larger than the right.
|
||||||
|
backwards_range_check="skip-unittest"
|
||||||
|
; Checks for if statements whose 'then' block is the same as the 'else' block
|
||||||
|
if_else_same_check="skip-unittest"
|
||||||
|
; Checks for some problems with constructors
|
||||||
|
constructor_check="skip-unittest"
|
||||||
|
; Checks for unused variables and function parameters
|
||||||
|
unused_variable_check="disabled"
|
||||||
|
; Checks for unused labels
|
||||||
|
unused_label_check="skip-unittest"
|
||||||
|
; Checks for duplicate attributes
|
||||||
|
duplicate_attribute="skip-unittest"
|
||||||
|
; Checks that opEquals and toHash are both defined or neither are defined
|
||||||
|
opequals_tohash_check="disabled"
|
||||||
|
; Checks for subtraction from .length properties
|
||||||
|
length_subtraction_check="disabled"
|
||||||
|
; Checks for methods or properties whose names conflict with built-in propertie
|
||||||
|
; s
|
||||||
|
builtin_property_names_check="skip-unittest"
|
||||||
|
; Checks for confusing code in inline asm statements
|
||||||
|
asm_style_check="skip-unittest"
|
||||||
|
; Checks for confusing logical operator precedence
|
||||||
|
logical_precedence_check="skip-unittest"
|
||||||
|
; Checks for undocumented public declarations
|
||||||
|
undocumented_declaration_check="disabled"
|
||||||
|
; Checks for poor placement of function attributes
|
||||||
|
function_attribute_check="skip-unittest"
|
||||||
|
; Checks for use of the comma operator
|
||||||
|
comma_expression_check="skip-unittest"
|
||||||
|
; Checks for local imports that are too broad
|
||||||
|
local_import_check="disabled"
|
||||||
|
; Checks for variables that could be declared immutable
|
||||||
|
could_be_immutable_check="disabled"
|
||||||
|
; Checks for redundant expressions in if statements
|
||||||
|
redundant_if_check="skip-unittest"
|
||||||
|
; Checks for redundant parenthesis
|
||||||
|
redundant_parens_check="skip-unittest"
|
||||||
|
; Checks for mismatched argument and parameter names
|
||||||
|
mismatched_args_check="skip-unittest"
|
||||||
|
; Checks for labels with the same name as variables
|
||||||
|
label_var_same_name_check="disabled"
|
||||||
|
; Checks for lines longer than 120 characters
|
||||||
|
long_line_check="skip-unittest"
|
||||||
|
; Checks for assignment to auto-ref function parameters
|
||||||
|
auto_ref_assignment_check="disabled"
|
||||||
|
; Checks for incorrect infinite range definitions
|
||||||
|
incorrect_infinite_range_check="skip-unittest"
|
||||||
|
; Checks for asserts that are always true
|
||||||
|
useless_assert_check="skip-unittest"
|
||||||
|
; Check for uses of the old-style alias syntax
|
||||||
|
alias_syntax_check="disabled"
|
||||||
|
; Checks for else if that should be else static if
|
||||||
|
static_if_else_check="skip-unittest"
|
||||||
|
; Check for unclear lambda syntax
|
||||||
|
lambda_return_check="skip-unittest"
|
||||||
|
; Check for auto function without return statement
|
||||||
|
auto_function_check="skip-unittest"
|
||||||
|
; Check for sortedness of imports
|
||||||
|
imports_sortedness="disabled"
|
||||||
|
; Check for explicitly annotated unittests
|
||||||
|
explicitly_annotated_unittests="disabled"
|
||||||
|
; Check for useless usage of the final attribute
|
||||||
|
final_attribute_check="skip-unittest"
|
2
dub.json
2
dub.json
@ -1,6 +1,6 @@
|
|||||||
{
|
{
|
||||||
"name": "tanya",
|
"name": "tanya",
|
||||||
"description": "D library with event loop",
|
"description": "General purpose, @nogc library. Containers, networking, memory management, utilities",
|
||||||
"license": "MPL-2.0",
|
"license": "MPL-2.0",
|
||||||
"copyright": "(c) Eugene Wissner <info@caraus.de>",
|
"copyright": "(c) Eugene Wissner <info@caraus.de>",
|
||||||
"authors": [
|
"authors": [
|
||||||
|
186
source/tanya/async/event/epoll.d
Normal file
186
source/tanya/async/event/epoll.d
Normal file
@ -0,0 +1,186 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/*
|
||||||
|
* Event loop implementation for Linux.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.async.event.epoll;
|
||||||
|
|
||||||
|
version (D_Ddoc)
|
||||||
|
{
|
||||||
|
}
|
||||||
|
else version (linux):
|
||||||
|
|
||||||
|
public import core.sys.linux.epoll;
|
||||||
|
import tanya.async.protocol;
|
||||||
|
import tanya.async.event.selector;
|
||||||
|
import tanya.async.loop;
|
||||||
|
import tanya.async.transport;
|
||||||
|
import tanya.async.watcher;
|
||||||
|
import tanya.container.array;
|
||||||
|
import tanya.memory;
|
||||||
|
import tanya.memory.mmappool;
|
||||||
|
import tanya.network.socket;
|
||||||
|
import core.stdc.errno;
|
||||||
|
import core.sys.posix.unistd;
|
||||||
|
import core.time;
|
||||||
|
import std.algorithm.comparison;
|
||||||
|
|
||||||
|
extern (C) nothrow @nogc
|
||||||
|
{
|
||||||
|
int epoll_create1(int flags);
|
||||||
|
int epoll_ctl (int epfd, int op, int fd, epoll_event *event);
|
||||||
|
int epoll_wait (int epfd, epoll_event *events, int maxevents, int timeout);
|
||||||
|
}
|
||||||
|
|
||||||
|
final class EpollLoop : SelectorLoop
|
||||||
|
{
|
||||||
|
protected int fd;
|
||||||
|
private Array!epoll_event events;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Initializes the loop.
|
||||||
|
*/
|
||||||
|
this() @nogc
|
||||||
|
{
|
||||||
|
if ((fd = epoll_create1(EPOLL_CLOEXEC)) < 0)
|
||||||
|
{
|
||||||
|
throw defaultAllocator.make!BadLoopException("epoll initialization failed");
|
||||||
|
}
|
||||||
|
super();
|
||||||
|
events = Array!epoll_event(maxEvents, MmapPool.instance);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Frees loop internals.
|
||||||
|
*/
|
||||||
|
~this() @nogc
|
||||||
|
{
|
||||||
|
close(fd);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Should be called if the backend configuration changes.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* watcher = Watcher.
|
||||||
|
* oldEvents = The events were already set.
|
||||||
|
* events = The events should be set.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD true) if the operation was successful.
|
||||||
|
*/
|
||||||
|
protected override bool reify(SocketWatcher watcher,
|
||||||
|
EventMask oldEvents,
|
||||||
|
EventMask events) @nogc
|
||||||
|
{
|
||||||
|
int op = EPOLL_CTL_DEL;
|
||||||
|
epoll_event ev;
|
||||||
|
|
||||||
|
if (events == oldEvents)
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
if (events && oldEvents)
|
||||||
|
{
|
||||||
|
op = EPOLL_CTL_MOD;
|
||||||
|
}
|
||||||
|
else if (events && !oldEvents)
|
||||||
|
{
|
||||||
|
op = EPOLL_CTL_ADD;
|
||||||
|
}
|
||||||
|
|
||||||
|
ev.data.fd = watcher.socket.handle;
|
||||||
|
ev.events = (events & (Event.read | Event.accept) ? EPOLLIN | EPOLLPRI : 0)
|
||||||
|
| (events & Event.write ? EPOLLOUT : 0)
|
||||||
|
| EPOLLET;
|
||||||
|
|
||||||
|
return epoll_ctl(fd, op, watcher.socket.handle, &ev) == 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Does the actual polling.
|
||||||
|
*/
|
||||||
|
protected override void poll() @nogc
|
||||||
|
{
|
||||||
|
// Don't block
|
||||||
|
immutable timeout = cast(immutable int) blockTime.total!"msecs";
|
||||||
|
auto eventCount = epoll_wait(fd, events.get().ptr, maxEvents, timeout);
|
||||||
|
|
||||||
|
if (eventCount < 0)
|
||||||
|
{
|
||||||
|
if (errno != EINTR)
|
||||||
|
{
|
||||||
|
throw defaultAllocator.make!BadLoopException();
|
||||||
|
}
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
for (auto i = 0; i < eventCount; ++i)
|
||||||
|
{
|
||||||
|
auto transport = cast(StreamTransport) connections[events[i].data.fd];
|
||||||
|
|
||||||
|
if (transport is null)
|
||||||
|
{
|
||||||
|
auto connection = cast(ConnectionWatcher) connections[events[i].data.fd];
|
||||||
|
assert(connection !is null);
|
||||||
|
|
||||||
|
acceptConnections(connection);
|
||||||
|
}
|
||||||
|
else if (events[i].events & EPOLLERR)
|
||||||
|
{
|
||||||
|
kill(transport);
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
else if (events[i].events & (EPOLLIN | EPOLLPRI | EPOLLHUP))
|
||||||
|
{
|
||||||
|
SocketException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
ptrdiff_t received;
|
||||||
|
do
|
||||||
|
{
|
||||||
|
received = transport.socket.receive(transport.output[]);
|
||||||
|
transport.output += received;
|
||||||
|
}
|
||||||
|
while (received);
|
||||||
|
}
|
||||||
|
catch (SocketException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
if (transport.socket.disconnected)
|
||||||
|
{
|
||||||
|
kill(transport, exception);
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
else if (transport.output.length)
|
||||||
|
{
|
||||||
|
pendings.enqueue(transport);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (events[i].events & EPOLLOUT)
|
||||||
|
{
|
||||||
|
transport.writeReady = true;
|
||||||
|
if (transport.input.length)
|
||||||
|
{
|
||||||
|
feed(transport);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: The blocking time.
|
||||||
|
*/
|
||||||
|
override protected @property inout(Duration) blockTime()
|
||||||
|
inout @safe pure nothrow
|
||||||
|
{
|
||||||
|
return min(super.blockTime, 1.dur!"seconds");
|
||||||
|
}
|
||||||
|
}
|
389
source/tanya/async/event/iocp.d
Normal file
389
source/tanya/async/event/iocp.d
Normal file
@ -0,0 +1,389 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/*
|
||||||
|
* Event loop implementation for Windows.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.async.event.iocp;
|
||||||
|
|
||||||
|
version (D_Ddoc)
|
||||||
|
{
|
||||||
|
}
|
||||||
|
else version (Windows):
|
||||||
|
|
||||||
|
import tanya.container.buffer;
|
||||||
|
import tanya.async.loop;
|
||||||
|
import tanya.async.protocol;
|
||||||
|
import tanya.async.transport;
|
||||||
|
import tanya.async.watcher;
|
||||||
|
import tanya.memory;
|
||||||
|
import tanya.memory.mmappool;
|
||||||
|
import tanya.network.socket;
|
||||||
|
import core.sys.windows.basetyps;
|
||||||
|
import core.sys.windows.mswsock;
|
||||||
|
import core.sys.windows.winbase;
|
||||||
|
import core.sys.windows.windef;
|
||||||
|
import core.sys.windows.winsock2;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Transport for stream sockets.
|
||||||
|
*/
|
||||||
|
final class StreamTransport : SocketWatcher, DuplexTransport, SocketTransport
|
||||||
|
{
|
||||||
|
private SocketException exception;
|
||||||
|
|
||||||
|
private ReadBuffer!ubyte output;
|
||||||
|
|
||||||
|
private WriteBuffer!ubyte input;
|
||||||
|
|
||||||
|
private Protocol protocol_;
|
||||||
|
|
||||||
|
private bool closing;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Creates new completion port transport.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* socket = Socket.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE socket !is null)
|
||||||
|
*/
|
||||||
|
this(OverlappedConnectedSocket socket) @nogc
|
||||||
|
{
|
||||||
|
super(socket);
|
||||||
|
output = ReadBuffer!ubyte(8192, 1024, MmapPool.instance);
|
||||||
|
input = WriteBuffer!ubyte(8192, MmapPool.instance);
|
||||||
|
active = true;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Socket.
|
||||||
|
*
|
||||||
|
* Postcondition: $(D_INLINECODE socket !is null)
|
||||||
|
*/
|
||||||
|
override @property OverlappedConnectedSocket socket() pure nothrow @safe @nogc
|
||||||
|
out (socket)
|
||||||
|
{
|
||||||
|
assert(socket !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
return cast(OverlappedConnectedSocket) socket_;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns $(D_PARAM true) if the transport is closing or closed.
|
||||||
|
*/
|
||||||
|
bool isClosing() const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return closing;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Close the transport.
|
||||||
|
*
|
||||||
|
* Buffered data will be flushed. No more data will be received.
|
||||||
|
*/
|
||||||
|
void close() pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
closing = true;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Write some data to the transport.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* data = Data to send.
|
||||||
|
*/
|
||||||
|
void write(ubyte[] data) @nogc
|
||||||
|
{
|
||||||
|
input ~= data;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Application protocol.
|
||||||
|
*/
|
||||||
|
@property Protocol protocol() pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return protocol_;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Switches the protocol.
|
||||||
|
*
|
||||||
|
* The protocol is deallocated by the event loop, it should currently be
|
||||||
|
* allocated with $(D_PSYMBOL MmapPool).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* protocol = Application protocol.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE protocol !is null)
|
||||||
|
*/
|
||||||
|
@property void protocol(Protocol protocol) pure nothrow @safe @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(protocol !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
protocol_ = protocol;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Invokes the watcher callback.
|
||||||
|
*/
|
||||||
|
override void invoke() @nogc
|
||||||
|
{
|
||||||
|
if (output.length)
|
||||||
|
{
|
||||||
|
immutable empty = input.length == 0;
|
||||||
|
protocol.received(output[0 .. $]);
|
||||||
|
output.clear();
|
||||||
|
if (empty)
|
||||||
|
{
|
||||||
|
SocketState overlapped;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
overlapped = MmapPool.instance.make!SocketState;
|
||||||
|
socket.beginSend(input[], overlapped);
|
||||||
|
}
|
||||||
|
catch (SocketException e)
|
||||||
|
{
|
||||||
|
MmapPool.instance.dispose(overlapped);
|
||||||
|
MmapPool.instance.dispose(e);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
protocol.disconnected(exception);
|
||||||
|
MmapPool.instance.dispose(protocol_);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
active = false;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
final class IOCPLoop : Loop
|
||||||
|
{
|
||||||
|
protected HANDLE completionPort;
|
||||||
|
|
||||||
|
protected OVERLAPPED overlap;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Initializes the loop.
|
||||||
|
*/
|
||||||
|
this() @nogc
|
||||||
|
{
|
||||||
|
super();
|
||||||
|
|
||||||
|
completionPort = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 0);
|
||||||
|
if (!completionPort)
|
||||||
|
{
|
||||||
|
throw make!BadLoopException(defaultAllocator,
|
||||||
|
"Creating completion port failed");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Should be called if the backend configuration changes.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* watcher = Watcher.
|
||||||
|
* oldEvents = The events were already set.
|
||||||
|
* events = The events should be set.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD true) if the operation was successful.
|
||||||
|
*/
|
||||||
|
override protected bool reify(SocketWatcher watcher,
|
||||||
|
EventMask oldEvents,
|
||||||
|
EventMask events) @nogc
|
||||||
|
{
|
||||||
|
SocketState overlapped;
|
||||||
|
if (!(oldEvents & Event.accept) && (events & Event.accept))
|
||||||
|
{
|
||||||
|
auto socket = cast(OverlappedStreamSocket) watcher.socket;
|
||||||
|
assert(socket !is null);
|
||||||
|
|
||||||
|
if (CreateIoCompletionPort(cast(HANDLE) socket.handle,
|
||||||
|
completionPort,
|
||||||
|
cast(ULONG_PTR) (cast(void*) watcher),
|
||||||
|
0) !is completionPort)
|
||||||
|
{
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
|
try
|
||||||
|
{
|
||||||
|
overlapped = MmapPool.instance.make!SocketState;
|
||||||
|
socket.beginAccept(overlapped);
|
||||||
|
}
|
||||||
|
catch (SocketException e)
|
||||||
|
{
|
||||||
|
MmapPool.instance.dispose(overlapped);
|
||||||
|
defaultAllocator.dispose(e);
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if ((!(oldEvents & Event.read) && (events & Event.read))
|
||||||
|
|| (!(oldEvents & Event.write) && (events & Event.write)))
|
||||||
|
{
|
||||||
|
auto transport = cast(StreamTransport) watcher;
|
||||||
|
assert(transport !is null);
|
||||||
|
|
||||||
|
if (CreateIoCompletionPort(cast(HANDLE) transport.socket.handle,
|
||||||
|
completionPort,
|
||||||
|
cast(ULONG_PTR) (cast(void*) watcher),
|
||||||
|
0) !is completionPort)
|
||||||
|
{
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
|
// Begin to read
|
||||||
|
if (!(oldEvents & Event.read) && (events & Event.read))
|
||||||
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
overlapped = MmapPool.instance.make!SocketState;
|
||||||
|
transport.socket.beginReceive(transport.output[], overlapped);
|
||||||
|
}
|
||||||
|
catch (SocketException e)
|
||||||
|
{
|
||||||
|
MmapPool.instance.dispose(overlapped);
|
||||||
|
defaultAllocator.dispose(e);
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
private void kill(StreamTransport transport,
|
||||||
|
SocketException exception = null) @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(transport !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
transport.socket.shutdown();
|
||||||
|
defaultAllocator.dispose(transport.socket);
|
||||||
|
transport.exception = exception;
|
||||||
|
pendings.enqueue(transport);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Does the actual polling.
|
||||||
|
*/
|
||||||
|
override protected void poll() @nogc
|
||||||
|
{
|
||||||
|
DWORD lpNumberOfBytes;
|
||||||
|
ULONG_PTR key;
|
||||||
|
LPOVERLAPPED overlap;
|
||||||
|
immutable timeout = cast(immutable int) blockTime.total!"msecs";
|
||||||
|
|
||||||
|
auto result = GetQueuedCompletionStatus(completionPort,
|
||||||
|
&lpNumberOfBytes,
|
||||||
|
&key,
|
||||||
|
&overlap,
|
||||||
|
timeout);
|
||||||
|
if (result == FALSE && overlap == NULL)
|
||||||
|
{
|
||||||
|
return; // Timeout
|
||||||
|
}
|
||||||
|
|
||||||
|
auto overlapped = (cast(SocketState) ((cast(void*) overlap) - 8));
|
||||||
|
assert(overlapped !is null);
|
||||||
|
scope (failure)
|
||||||
|
{
|
||||||
|
MmapPool.instance.dispose(overlapped);
|
||||||
|
}
|
||||||
|
|
||||||
|
switch (overlapped.event)
|
||||||
|
{
|
||||||
|
case OverlappedSocketEvent.accept:
|
||||||
|
auto connection = cast(ConnectionWatcher) (cast(void*) key);
|
||||||
|
assert(connection !is null);
|
||||||
|
|
||||||
|
auto listener = cast(OverlappedStreamSocket) connection.socket;
|
||||||
|
assert(listener !is null);
|
||||||
|
|
||||||
|
auto socket = listener.endAccept(overlapped);
|
||||||
|
auto transport = MmapPool.instance.make!StreamTransport(socket);
|
||||||
|
|
||||||
|
connection.incoming.enqueue(transport);
|
||||||
|
|
||||||
|
reify(transport, EventMask(Event.none), EventMask(Event.read, Event.write));
|
||||||
|
|
||||||
|
pendings.enqueue(connection);
|
||||||
|
listener.beginAccept(overlapped);
|
||||||
|
break;
|
||||||
|
case OverlappedSocketEvent.read:
|
||||||
|
auto transport = cast(StreamTransport) (cast(void*) key);
|
||||||
|
assert(transport !is null);
|
||||||
|
|
||||||
|
if (!transport.active)
|
||||||
|
{
|
||||||
|
MmapPool.instance.dispose(transport);
|
||||||
|
MmapPool.instance.dispose(overlapped);
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
int received;
|
||||||
|
SocketException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
received = transport.socket.endReceive(overlapped);
|
||||||
|
}
|
||||||
|
catch (SocketException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
if (transport.socket.disconnected)
|
||||||
|
{
|
||||||
|
// We want to get one last notification to destroy the watcher.
|
||||||
|
transport.socket.beginReceive(transport.output[], overlapped);
|
||||||
|
kill(transport, exception);
|
||||||
|
}
|
||||||
|
else if (received > 0)
|
||||||
|
{
|
||||||
|
immutable full = transport.output.free == received;
|
||||||
|
|
||||||
|
transport.output += received;
|
||||||
|
// Receive was interrupted because the buffer is full. We have to continue.
|
||||||
|
if (full)
|
||||||
|
{
|
||||||
|
transport.socket.beginReceive(transport.output[], overlapped);
|
||||||
|
}
|
||||||
|
pendings.enqueue(transport);
|
||||||
|
}
|
||||||
|
break;
|
||||||
|
case OverlappedSocketEvent.write:
|
||||||
|
auto transport = cast(StreamTransport) (cast(void*) key);
|
||||||
|
assert(transport !is null);
|
||||||
|
|
||||||
|
transport.input += transport.socket.endSend(overlapped);
|
||||||
|
if (transport.input.length > 0)
|
||||||
|
{
|
||||||
|
transport.socket.beginSend(transport.input[], overlapped);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
transport.socket.beginReceive(transport.output[], overlapped);
|
||||||
|
if (transport.isClosing())
|
||||||
|
{
|
||||||
|
kill(transport);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
break;
|
||||||
|
default:
|
||||||
|
assert(false, "Unknown event");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
330
source/tanya/async/event/kqueue.d
Normal file
330
source/tanya/async/event/kqueue.d
Normal file
@ -0,0 +1,330 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/*
|
||||||
|
* Event loop implementation for *BSD.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.async.event.kqueue;
|
||||||
|
|
||||||
|
version (D_Ddoc)
|
||||||
|
{
|
||||||
|
}
|
||||||
|
else version (OSX)
|
||||||
|
{
|
||||||
|
version = MacBSD;
|
||||||
|
}
|
||||||
|
else version (iOS)
|
||||||
|
{
|
||||||
|
version = MacBSD;
|
||||||
|
}
|
||||||
|
else version (TVOS)
|
||||||
|
{
|
||||||
|
version = MacBSD;
|
||||||
|
}
|
||||||
|
else version (WatchOS)
|
||||||
|
{
|
||||||
|
version = MacBSD;
|
||||||
|
}
|
||||||
|
else version (FreeBSD)
|
||||||
|
{
|
||||||
|
version = MacBSD;
|
||||||
|
}
|
||||||
|
else version (OpenBSD)
|
||||||
|
{
|
||||||
|
version = MacBSD;
|
||||||
|
}
|
||||||
|
else version (DragonFlyBSD)
|
||||||
|
{
|
||||||
|
version = MacBSD;
|
||||||
|
}
|
||||||
|
|
||||||
|
version (MacBSD):
|
||||||
|
|
||||||
|
import core.stdc.errno;
|
||||||
|
import core.sys.posix.time; // timespec
|
||||||
|
import core.sys.posix.unistd;
|
||||||
|
import core.time;
|
||||||
|
import std.algorithm.comparison;
|
||||||
|
import tanya.async.event.selector;
|
||||||
|
import tanya.async.loop;
|
||||||
|
import tanya.async.transport;
|
||||||
|
import tanya.async.watcher;
|
||||||
|
import tanya.container.array;
|
||||||
|
import tanya.memory;
|
||||||
|
import tanya.memory.mmappool;
|
||||||
|
import tanya.network.socket;
|
||||||
|
|
||||||
|
void EV_SET(kevent_t* kevp, typeof(kevent_t.tupleof) args) pure nothrow @nogc
|
||||||
|
{
|
||||||
|
*kevp = kevent_t(args);
|
||||||
|
}
|
||||||
|
|
||||||
|
enum : short
|
||||||
|
{
|
||||||
|
EVFILT_READ = -1,
|
||||||
|
EVFILT_WRITE = -2,
|
||||||
|
EVFILT_AIO = -3, /* attached to aio requests */
|
||||||
|
EVFILT_VNODE = -4, /* attached to vnodes */
|
||||||
|
EVFILT_PROC = -5, /* attached to struct proc */
|
||||||
|
EVFILT_SIGNAL = -6, /* attached to struct proc */
|
||||||
|
EVFILT_TIMER = -7, /* timers */
|
||||||
|
EVFILT_MACHPORT = -8, /* Mach portsets */
|
||||||
|
EVFILT_FS = -9, /* filesystem events */
|
||||||
|
EVFILT_USER = -10, /* User events */
|
||||||
|
EVFILT_VM = -12, /* virtual memory events */
|
||||||
|
EVFILT_SYSCOUNT = 11
|
||||||
|
}
|
||||||
|
|
||||||
|
struct kevent_t
|
||||||
|
{
|
||||||
|
uintptr_t ident; /* identifier for this event */
|
||||||
|
short filter; /* filter for event */
|
||||||
|
ushort flags;
|
||||||
|
uint fflags;
|
||||||
|
intptr_t data;
|
||||||
|
void *udata; /* opaque user data identifier */
|
||||||
|
}
|
||||||
|
|
||||||
|
enum
|
||||||
|
{
|
||||||
|
/* actions */
|
||||||
|
EV_ADD = 0x0001, /* add event to kq (implies enable) */
|
||||||
|
EV_DELETE = 0x0002, /* delete event from kq */
|
||||||
|
EV_ENABLE = 0x0004, /* enable event */
|
||||||
|
EV_DISABLE = 0x0008, /* disable event (not reported) */
|
||||||
|
|
||||||
|
/* flags */
|
||||||
|
EV_ONESHOT = 0x0010, /* only report one occurrence */
|
||||||
|
EV_CLEAR = 0x0020, /* clear event state after reporting */
|
||||||
|
EV_RECEIPT = 0x0040, /* force EV_ERROR on success, data=0 */
|
||||||
|
EV_DISPATCH = 0x0080, /* disable event after reporting */
|
||||||
|
|
||||||
|
EV_SYSFLAGS = 0xF000, /* reserved by system */
|
||||||
|
EV_FLAG1 = 0x2000, /* filter-specific flag */
|
||||||
|
|
||||||
|
/* returned values */
|
||||||
|
EV_EOF = 0x8000, /* EOF detected */
|
||||||
|
EV_ERROR = 0x4000, /* error, data contains errno */
|
||||||
|
}
|
||||||
|
|
||||||
|
extern(C) int kqueue() nothrow @nogc;
|
||||||
|
extern(C) int kevent(int kq, const kevent_t *changelist, int nchanges,
|
||||||
|
kevent_t *eventlist, int nevents, const timespec *timeout)
|
||||||
|
nothrow @nogc;
|
||||||
|
|
||||||
|
final class KqueueLoop : SelectorLoop
|
||||||
|
{
|
||||||
|
protected int fd;
|
||||||
|
private Array!kevent_t events;
|
||||||
|
private Array!kevent_t changes;
|
||||||
|
private size_t changeCount;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Maximal event count can be got at a time
|
||||||
|
* (should be supported by the backend).
|
||||||
|
*/
|
||||||
|
override protected @property uint maxEvents()
|
||||||
|
const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return cast(uint) events.length;
|
||||||
|
}
|
||||||
|
|
||||||
|
this() @nogc
|
||||||
|
{
|
||||||
|
super();
|
||||||
|
|
||||||
|
if ((fd = kqueue()) == -1)
|
||||||
|
{
|
||||||
|
throw make!BadLoopException(defaultAllocator,
|
||||||
|
"kqueue initialization failed");
|
||||||
|
}
|
||||||
|
events = Array!kevent_t(64, MmapPool.instance);
|
||||||
|
changes = Array!kevent_t(64, MmapPool.instance);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Frees loop internals.
|
||||||
|
*/
|
||||||
|
~this() @nogc
|
||||||
|
{
|
||||||
|
close(fd);
|
||||||
|
}
|
||||||
|
|
||||||
|
private void set(SocketType socket, short filter, ushort flags) @nogc
|
||||||
|
{
|
||||||
|
if (changes.length <= changeCount)
|
||||||
|
{
|
||||||
|
changes.length = changeCount + maxEvents;
|
||||||
|
}
|
||||||
|
EV_SET(&changes[changeCount],
|
||||||
|
cast(ulong) socket,
|
||||||
|
filter,
|
||||||
|
flags,
|
||||||
|
0U,
|
||||||
|
0L,
|
||||||
|
null);
|
||||||
|
++changeCount;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Should be called if the backend configuration changes.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* watcher = Watcher.
|
||||||
|
* oldEvents = The events were already set.
|
||||||
|
* events = The events should be set.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD true) if the operation was successful.
|
||||||
|
*/
|
||||||
|
override protected bool reify(SocketWatcher watcher,
|
||||||
|
EventMask oldEvents,
|
||||||
|
EventMask events) @nogc
|
||||||
|
{
|
||||||
|
if (events != oldEvents)
|
||||||
|
{
|
||||||
|
if (oldEvents & Event.read || oldEvents & Event.accept)
|
||||||
|
{
|
||||||
|
set(watcher.socket.handle, EVFILT_READ, EV_DELETE);
|
||||||
|
}
|
||||||
|
if (oldEvents & Event.write)
|
||||||
|
{
|
||||||
|
set(watcher.socket.handle, EVFILT_WRITE, EV_DELETE);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (events & (Event.read | events & Event.accept))
|
||||||
|
{
|
||||||
|
set(watcher.socket.handle, EVFILT_READ, EV_ADD | EV_ENABLE);
|
||||||
|
}
|
||||||
|
if (events & Event.write)
|
||||||
|
{
|
||||||
|
set(watcher.socket.handle, EVFILT_WRITE, EV_ADD | EV_DISPATCH);
|
||||||
|
}
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Does the actual polling.
|
||||||
|
*/
|
||||||
|
protected override void poll() @nogc
|
||||||
|
{
|
||||||
|
timespec ts;
|
||||||
|
blockTime.split!("seconds", "nsecs")(ts.tv_sec, ts.tv_nsec);
|
||||||
|
|
||||||
|
if (changeCount > maxEvents)
|
||||||
|
{
|
||||||
|
events.length = changes.length;
|
||||||
|
}
|
||||||
|
|
||||||
|
auto eventCount = kevent(fd,
|
||||||
|
changes.get().ptr,
|
||||||
|
cast(int) changeCount,
|
||||||
|
events.get().ptr,
|
||||||
|
maxEvents,
|
||||||
|
&ts);
|
||||||
|
changeCount = 0;
|
||||||
|
|
||||||
|
if (eventCount < 0)
|
||||||
|
{
|
||||||
|
if (errno != EINTR)
|
||||||
|
{
|
||||||
|
throw defaultAllocator.make!BadLoopException();
|
||||||
|
}
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
for (int i; i < eventCount; ++i)
|
||||||
|
{
|
||||||
|
assert(connections.length > events[i].ident);
|
||||||
|
|
||||||
|
auto transport = cast(StreamTransport) connections[events[i].ident];
|
||||||
|
// If it is a ConnectionWatcher. Accept connections.
|
||||||
|
if (transport is null)
|
||||||
|
{
|
||||||
|
auto connection = cast(ConnectionWatcher) connections[events[i].ident];
|
||||||
|
assert(connection !is null);
|
||||||
|
|
||||||
|
acceptConnections(connection);
|
||||||
|
}
|
||||||
|
else if (events[i].flags & EV_ERROR)
|
||||||
|
{
|
||||||
|
kill(transport);
|
||||||
|
}
|
||||||
|
else if (events[i].filter == EVFILT_READ)
|
||||||
|
{
|
||||||
|
SocketException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
ptrdiff_t received;
|
||||||
|
do
|
||||||
|
{
|
||||||
|
received = transport.socket.receive(transport.output[]);
|
||||||
|
transport.output += received;
|
||||||
|
}
|
||||||
|
while (received);
|
||||||
|
}
|
||||||
|
catch (SocketException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
if (transport.socket.disconnected)
|
||||||
|
{
|
||||||
|
kill(transport, exception);
|
||||||
|
}
|
||||||
|
else if (transport.output.length)
|
||||||
|
{
|
||||||
|
pendings.enqueue(transport);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else if (events[i].filter == EVFILT_WRITE)
|
||||||
|
{
|
||||||
|
transport.writeReady = true;
|
||||||
|
if (transport.input.length)
|
||||||
|
{
|
||||||
|
feed(transport);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: The blocking time.
|
||||||
|
*/
|
||||||
|
override protected @property inout(Duration) blockTime()
|
||||||
|
inout @nogc @safe pure nothrow
|
||||||
|
{
|
||||||
|
return min(super.blockTime, 1.dur!"seconds");
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* If the transport couldn't send the data, the further sending should
|
||||||
|
* be handled by the event loop.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* transport = Transport.
|
||||||
|
* exception = Exception thrown on sending.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD true) if the operation could be successfully
|
||||||
|
* completed or scheduled, $(D_KEYWORD false) otherwise (the
|
||||||
|
* transport will be destroyed then).
|
||||||
|
*/
|
||||||
|
protected override bool feed(StreamTransport transport,
|
||||||
|
SocketException exception = null) @nogc
|
||||||
|
{
|
||||||
|
if (!super.feed(transport, exception))
|
||||||
|
{
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
if (!transport.writeReady)
|
||||||
|
{
|
||||||
|
set(transport.socket.handle, EVFILT_WRITE, EV_DISPATCH);
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
}
|
405
source/tanya/async/event/selector.d
Normal file
405
source/tanya/async/event/selector.d
Normal file
@ -0,0 +1,405 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/*
|
||||||
|
* This module contains base implementations for reactor event loops.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.async.event.selector;
|
||||||
|
|
||||||
|
version (D_Ddoc)
|
||||||
|
{
|
||||||
|
}
|
||||||
|
else version (Posix):
|
||||||
|
|
||||||
|
import tanya.async.loop;
|
||||||
|
import tanya.async.protocol;
|
||||||
|
import tanya.async.transport;
|
||||||
|
import tanya.async.watcher;
|
||||||
|
import tanya.container.buffer;
|
||||||
|
import tanya.container.array;
|
||||||
|
import tanya.memory;
|
||||||
|
import tanya.memory.mmappool;
|
||||||
|
import tanya.network.socket;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Transport for stream sockets.
|
||||||
|
*/
|
||||||
|
package class StreamTransport : SocketWatcher, DuplexTransport, SocketTransport
|
||||||
|
{
|
||||||
|
private SelectorLoop loop;
|
||||||
|
|
||||||
|
private SocketException exception;
|
||||||
|
|
||||||
|
package ReadBuffer!ubyte output;
|
||||||
|
|
||||||
|
package WriteBuffer!ubyte input;
|
||||||
|
|
||||||
|
private Protocol protocol_;
|
||||||
|
|
||||||
|
private bool closing;
|
||||||
|
|
||||||
|
/// Received notification that the underlying socket is write-ready.
|
||||||
|
package bool writeReady;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* loop = Event loop.
|
||||||
|
* socket = Socket.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE loop !is null && socket !is null)
|
||||||
|
*/
|
||||||
|
this(SelectorLoop loop, ConnectedSocket socket) @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(loop !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
super(socket);
|
||||||
|
this.loop = loop;
|
||||||
|
output = ReadBuffer!ubyte(8192, 1024, MmapPool.instance);
|
||||||
|
input = WriteBuffer!ubyte(8192, MmapPool.instance);
|
||||||
|
active = true;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Socket.
|
||||||
|
*
|
||||||
|
* Postcondition: $(D_INLINECODE socket !is null)
|
||||||
|
*/
|
||||||
|
override @property ConnectedSocket socket() pure nothrow @safe @nogc
|
||||||
|
out (socket)
|
||||||
|
{
|
||||||
|
assert(socket !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
return cast(ConnectedSocket) socket_;
|
||||||
|
}
|
||||||
|
|
||||||
|
private @property void socket(ConnectedSocket socket)
|
||||||
|
pure nothrow @safe @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(socket !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
socket_ = socket;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Application protocol.
|
||||||
|
*/
|
||||||
|
@property Protocol protocol() pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return protocol_;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Switches the protocol.
|
||||||
|
*
|
||||||
|
* The protocol is deallocated by the event loop, it should currently be
|
||||||
|
* allocated with $(D_PSYMBOL MmapPool).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* protocol = Application protocol.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE protocol !is null)
|
||||||
|
*/
|
||||||
|
@property void protocol(Protocol protocol) pure nothrow @safe @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(protocol !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
protocol_ = protocol;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns $(D_PARAM true) if the transport is closing or closed.
|
||||||
|
*/
|
||||||
|
bool isClosing() const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return closing;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Close the transport.
|
||||||
|
*
|
||||||
|
* Buffered data will be flushed. No more data will be received.
|
||||||
|
*/
|
||||||
|
void close() @nogc
|
||||||
|
{
|
||||||
|
closing = true;
|
||||||
|
loop.reify(this,
|
||||||
|
EventMask(Event.read, Event.write),
|
||||||
|
EventMask(Event.write));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Invokes the watcher callback.
|
||||||
|
*/
|
||||||
|
override void invoke() @nogc
|
||||||
|
{
|
||||||
|
if (output.length)
|
||||||
|
{
|
||||||
|
protocol.received(output[0 .. $]);
|
||||||
|
output.clear();
|
||||||
|
if (isClosing() && input.length == 0)
|
||||||
|
{
|
||||||
|
loop.kill(this);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
protocol.disconnected(exception);
|
||||||
|
MmapPool.instance.dispose(protocol_);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
active = false;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Write some data to the transport.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* data = Data to send.
|
||||||
|
*/
|
||||||
|
void write(ubyte[] data) @nogc
|
||||||
|
{
|
||||||
|
if (!data.length)
|
||||||
|
{
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
// Try to write if the socket is write ready.
|
||||||
|
if (writeReady)
|
||||||
|
{
|
||||||
|
ptrdiff_t sent;
|
||||||
|
SocketException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
sent = socket.send(data);
|
||||||
|
if (sent == 0)
|
||||||
|
{
|
||||||
|
writeReady = false;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (SocketException e)
|
||||||
|
{
|
||||||
|
writeReady = false;
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
if (sent < data.length)
|
||||||
|
{
|
||||||
|
input ~= data[sent..$];
|
||||||
|
loop.feed(this, exception);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
input ~= data;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
abstract class SelectorLoop : Loop
|
||||||
|
{
|
||||||
|
/// Pending connections.
|
||||||
|
protected Array!SocketWatcher connections;
|
||||||
|
|
||||||
|
this() @nogc
|
||||||
|
{
|
||||||
|
super();
|
||||||
|
connections = Array!SocketWatcher(maxEvents, MmapPool.instance);
|
||||||
|
}
|
||||||
|
|
||||||
|
~this() @nogc
|
||||||
|
{
|
||||||
|
foreach (ref connection; connections)
|
||||||
|
{
|
||||||
|
// We want to free only the transports. ConnectionWatcher are
|
||||||
|
// created by the user and should be freed by himself.
|
||||||
|
if (cast(StreamTransport) connection !is null)
|
||||||
|
{
|
||||||
|
MmapPool.instance.dispose(connection);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Should be called if the backend configuration changes.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* watcher = Watcher.
|
||||||
|
* oldEvents = The events were already set.
|
||||||
|
* events = The events should be set.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD true) if the operation was successful.
|
||||||
|
*/
|
||||||
|
override abstract protected bool reify(SocketWatcher watcher,
|
||||||
|
EventMask oldEvents,
|
||||||
|
EventMask events) @nogc;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Kills the watcher and closes the connection.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* transport = Transport.
|
||||||
|
* exception = Occurred exception.
|
||||||
|
*/
|
||||||
|
protected void kill(StreamTransport transport,
|
||||||
|
SocketException exception = null) @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(transport !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
transport.socket.shutdown();
|
||||||
|
defaultAllocator.dispose(transport.socket);
|
||||||
|
transport.exception = exception;
|
||||||
|
pendings.enqueue(transport);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* If the transport couldn't send the data, the further sending should
|
||||||
|
* be handled by the event loop.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* transport = Transport.
|
||||||
|
* exception = Exception thrown on sending.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD true) if the operation could be successfully
|
||||||
|
* completed or scheduled, $(D_KEYWORD false) otherwise (the
|
||||||
|
* transport will be destroyed then).
|
||||||
|
*/
|
||||||
|
protected bool feed(StreamTransport transport,
|
||||||
|
SocketException exception = null) @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(transport !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
while (transport.input.length && transport.writeReady)
|
||||||
|
{
|
||||||
|
try
|
||||||
|
{
|
||||||
|
ptrdiff_t sent = transport.socket.send(transport.input[]);
|
||||||
|
if (sent == 0)
|
||||||
|
{
|
||||||
|
transport.writeReady = false;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
transport.input += sent;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
catch (SocketException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
transport.writeReady = false;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (exception !is null)
|
||||||
|
{
|
||||||
|
kill(transport, exception);
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
if (transport.input.length == 0 && transport.isClosing())
|
||||||
|
{
|
||||||
|
kill(transport);
|
||||||
|
}
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Start watching.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* watcher = Watcher.
|
||||||
|
*/
|
||||||
|
override void start(ConnectionWatcher watcher) @nogc
|
||||||
|
{
|
||||||
|
if (watcher.active)
|
||||||
|
{
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (connections.length <= watcher.socket)
|
||||||
|
{
|
||||||
|
connections.length = watcher.socket.handle + maxEvents / 2;
|
||||||
|
}
|
||||||
|
connections[watcher.socket.handle] = watcher;
|
||||||
|
|
||||||
|
super.start(watcher);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Accept incoming connections.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* connection = Connection watcher ready to accept.
|
||||||
|
*/
|
||||||
|
package void acceptConnections(ConnectionWatcher connection) @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(connection !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
while (true)
|
||||||
|
{
|
||||||
|
ConnectedSocket client;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
client = (cast(StreamSocket) connection.socket).accept();
|
||||||
|
}
|
||||||
|
catch (SocketException e)
|
||||||
|
{
|
||||||
|
defaultAllocator.dispose(e);
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
if (client is null)
|
||||||
|
{
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
|
||||||
|
StreamTransport transport;
|
||||||
|
|
||||||
|
if (connections.length > client.handle)
|
||||||
|
{
|
||||||
|
transport = cast(StreamTransport) connections[client.handle];
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
connections.length = client.handle + maxEvents / 2;
|
||||||
|
}
|
||||||
|
if (transport is null)
|
||||||
|
{
|
||||||
|
transport = MmapPool.instance.make!StreamTransport(this, client);
|
||||||
|
connections[client.handle] = transport;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
transport.socket = client;
|
||||||
|
}
|
||||||
|
|
||||||
|
reify(transport, EventMask(Event.none), EventMask(Event.read, Event.write));
|
||||||
|
connection.incoming.enqueue(transport);
|
||||||
|
}
|
||||||
|
|
||||||
|
if (!connection.incoming.empty)
|
||||||
|
{
|
||||||
|
pendings.enqueue(connection);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
55
source/tanya/async/iocp.d
Normal file
55
source/tanya/async/iocp.d
Normal file
@ -0,0 +1,55 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* This module provides API for Windows I/O Completion Ports.
|
||||||
|
*
|
||||||
|
* Note: Available only on Windows.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.async.iocp;
|
||||||
|
|
||||||
|
version (Windows)
|
||||||
|
{
|
||||||
|
version = WindowsDoc;
|
||||||
|
}
|
||||||
|
else version (D_Ddoc)
|
||||||
|
{
|
||||||
|
version = WindowsDoc;
|
||||||
|
version (Windows)
|
||||||
|
{
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
private struct OVERLAPPED
|
||||||
|
{
|
||||||
|
}
|
||||||
|
private alias HANDLE = void*;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
version (WindowsDoc):
|
||||||
|
|
||||||
|
import core.sys.windows.winbase;
|
||||||
|
import core.sys.windows.windef;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Provides an extendable representation of a Win32 $(D_PSYMBOL OVERLAPPED)
|
||||||
|
* structure.
|
||||||
|
*/
|
||||||
|
class State
|
||||||
|
{
|
||||||
|
/// For internal use by Windows API.
|
||||||
|
align(1) OVERLAPPED overlapped;
|
||||||
|
|
||||||
|
/// File/socket handle.
|
||||||
|
HANDLE handle;
|
||||||
|
|
||||||
|
/// For keeping events or event masks.
|
||||||
|
int event;
|
||||||
|
}
|
433
source/tanya/async/loop.d
Normal file
433
source/tanya/async/loop.d
Normal file
@ -0,0 +1,433 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Interface for the event loop implementations and the default event loop
|
||||||
|
* chooser.
|
||||||
|
*
|
||||||
|
* ---
|
||||||
|
* import tanya.async;
|
||||||
|
* import tanya.memory;
|
||||||
|
* import tanya.network.socket;
|
||||||
|
*
|
||||||
|
* class EchoProtocol : TransmissionControlProtocol
|
||||||
|
* {
|
||||||
|
* private DuplexTransport transport;
|
||||||
|
*
|
||||||
|
* void received(in ubyte[] data) @nogc
|
||||||
|
* {
|
||||||
|
* transport.write(data);
|
||||||
|
* }
|
||||||
|
*
|
||||||
|
* void connected(DuplexTransport transport) @nogc
|
||||||
|
* {
|
||||||
|
* this.transport = transport;
|
||||||
|
* }
|
||||||
|
*
|
||||||
|
* void disconnected(SocketException e) @nogc
|
||||||
|
* {
|
||||||
|
* }
|
||||||
|
* }
|
||||||
|
*
|
||||||
|
* void main()
|
||||||
|
* {
|
||||||
|
* auto address = defaultAllocator.make!InternetAddress("127.0.0.1", cast(ushort) 8192);
|
||||||
|
*
|
||||||
|
* version (Windows)
|
||||||
|
* {
|
||||||
|
* auto sock = defaultAllocator.make!OverlappedStreamSocket(AddressFamily.inet);
|
||||||
|
* }
|
||||||
|
* else
|
||||||
|
* {
|
||||||
|
* auto sock = defaultAllocator.make!StreamSocket(AddressFamily.inet);
|
||||||
|
* sock.blocking = false;
|
||||||
|
* }
|
||||||
|
*
|
||||||
|
* sock.bind(address);
|
||||||
|
* sock.listen(5);
|
||||||
|
*
|
||||||
|
* auto io = defaultAllocator.make!ConnectionWatcher(sock);
|
||||||
|
* io.setProtocol!EchoProtocol;
|
||||||
|
*
|
||||||
|
* defaultLoop.start(io);
|
||||||
|
* defaultLoop.run();
|
||||||
|
*
|
||||||
|
* sock.shutdown();
|
||||||
|
* defaultAllocator.dispose(io);
|
||||||
|
* defaultAllocator.dispose(sock);
|
||||||
|
* defaultAllocator.dispose(address);
|
||||||
|
* }
|
||||||
|
* ---
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.async.loop;
|
||||||
|
|
||||||
|
import core.time;
|
||||||
|
import std.algorithm.iteration;
|
||||||
|
import std.algorithm.mutation;
|
||||||
|
import std.typecons;
|
||||||
|
import tanya.async.transport;
|
||||||
|
import tanya.async.watcher;
|
||||||
|
import tanya.container.buffer;
|
||||||
|
import tanya.container.queue;
|
||||||
|
import tanya.memory;
|
||||||
|
import tanya.memory.mmappool;
|
||||||
|
import tanya.network.socket;
|
||||||
|
|
||||||
|
version (DisableBackends)
|
||||||
|
{
|
||||||
|
}
|
||||||
|
else version (D_Ddoc)
|
||||||
|
{
|
||||||
|
}
|
||||||
|
else version (linux)
|
||||||
|
{
|
||||||
|
import tanya.async.event.epoll;
|
||||||
|
version = Epoll;
|
||||||
|
}
|
||||||
|
else version (Windows)
|
||||||
|
{
|
||||||
|
import tanya.async.event.iocp;
|
||||||
|
version = IOCP;
|
||||||
|
}
|
||||||
|
else version (OSX)
|
||||||
|
{
|
||||||
|
version = Kqueue;
|
||||||
|
}
|
||||||
|
else version (iOS)
|
||||||
|
{
|
||||||
|
version = Kqueue;
|
||||||
|
}
|
||||||
|
else version (FreeBSD)
|
||||||
|
{
|
||||||
|
version = Kqueue;
|
||||||
|
}
|
||||||
|
else version (OpenBSD)
|
||||||
|
{
|
||||||
|
version = Kqueue;
|
||||||
|
}
|
||||||
|
else version (DragonFlyBSD)
|
||||||
|
{
|
||||||
|
version = Kqueue;
|
||||||
|
}
|
||||||
|
version (unittest)
|
||||||
|
{
|
||||||
|
final class TestLoop : Loop
|
||||||
|
{
|
||||||
|
override protected bool reify(SocketWatcher watcher,
|
||||||
|
EventMask oldEvents,
|
||||||
|
EventMask events) @nogc
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
override protected void poll() @nogc
|
||||||
|
{
|
||||||
|
assert(!this.done);
|
||||||
|
unloop();
|
||||||
|
}
|
||||||
|
|
||||||
|
override protected @property uint maxEvents()
|
||||||
|
const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return 64U;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Events.
|
||||||
|
*/
|
||||||
|
enum Event : uint
|
||||||
|
{
|
||||||
|
none = 0x00, /// No events.
|
||||||
|
read = 0x01, /// Non-blocking read call.
|
||||||
|
write = 0x02, /// Non-blocking write call.
|
||||||
|
accept = 0x04, /// Connection made.
|
||||||
|
error = 0x80000000, /// Sent when an error occurs.
|
||||||
|
}
|
||||||
|
|
||||||
|
alias EventMask = BitFlags!Event;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Event loop.
|
||||||
|
*/
|
||||||
|
abstract class Loop
|
||||||
|
{
|
||||||
|
private bool done = true;
|
||||||
|
|
||||||
|
/// Pending watchers.
|
||||||
|
protected Queue!Watcher pendings;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Maximal event count can be got at a time
|
||||||
|
* (should be supported by the backend).
|
||||||
|
*/
|
||||||
|
protected @property uint maxEvents()
|
||||||
|
const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return 128U;
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
auto loop = defaultAllocator.make!TestLoop;
|
||||||
|
assert(loop.maxEvents == 64);
|
||||||
|
|
||||||
|
defaultAllocator.dispose(loop);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Initializes the loop.
|
||||||
|
*/
|
||||||
|
this() @nogc
|
||||||
|
{
|
||||||
|
pendings = Queue!Watcher(MmapPool.instance);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Frees loop internals.
|
||||||
|
*/
|
||||||
|
~this() @nogc
|
||||||
|
{
|
||||||
|
foreach (w; pendings)
|
||||||
|
{
|
||||||
|
MmapPool.instance.dispose(w);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Starts the loop.
|
||||||
|
*/
|
||||||
|
void run() @nogc
|
||||||
|
{
|
||||||
|
this.done = false;
|
||||||
|
do
|
||||||
|
{
|
||||||
|
poll();
|
||||||
|
|
||||||
|
// Invoke pendings
|
||||||
|
foreach (ref w; this.pendings)
|
||||||
|
{
|
||||||
|
w.invoke();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
while (!this.done);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Break out of the loop.
|
||||||
|
*/
|
||||||
|
void unloop() @safe pure nothrow @nogc
|
||||||
|
{
|
||||||
|
this.done = true;
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
auto loop = defaultAllocator.make!TestLoop;
|
||||||
|
assert(loop.done);
|
||||||
|
|
||||||
|
loop.run();
|
||||||
|
assert(loop.done);
|
||||||
|
|
||||||
|
defaultAllocator.dispose(loop);
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
auto loop = defaultAllocator.make!TestLoop;
|
||||||
|
auto watcher = defaultAllocator.make!DummyWatcher;
|
||||||
|
loop.pendings.enqueue(watcher);
|
||||||
|
|
||||||
|
assert(!watcher.invoked);
|
||||||
|
loop.run();
|
||||||
|
assert(watcher.invoked);
|
||||||
|
|
||||||
|
defaultAllocator.dispose(loop);
|
||||||
|
defaultAllocator.dispose(watcher);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Start watching.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* watcher = Watcher.
|
||||||
|
*/
|
||||||
|
void start(ConnectionWatcher watcher) @nogc
|
||||||
|
{
|
||||||
|
if (watcher.active)
|
||||||
|
{
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
watcher.active = true;
|
||||||
|
|
||||||
|
reify(watcher, EventMask(Event.none), EventMask(Event.accept));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Stop watching.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* watcher = Watcher.
|
||||||
|
*/
|
||||||
|
void stop(ConnectionWatcher watcher) @nogc
|
||||||
|
{
|
||||||
|
if (!watcher.active)
|
||||||
|
{
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
watcher.active = false;
|
||||||
|
|
||||||
|
reify(watcher, EventMask(Event.accept), EventMask(Event.none));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Should be called if the backend configuration changes.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* watcher = Watcher.
|
||||||
|
* oldEvents = The events were already set.
|
||||||
|
* events = The events should be set.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD true) if the operation was successful.
|
||||||
|
*/
|
||||||
|
abstract protected bool reify(SocketWatcher watcher,
|
||||||
|
EventMask oldEvents,
|
||||||
|
EventMask events) @nogc;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: The blocking time.
|
||||||
|
*/
|
||||||
|
protected @property inout(Duration) blockTime()
|
||||||
|
inout @safe pure nothrow @nogc
|
||||||
|
{
|
||||||
|
// Don't block if we have to do.
|
||||||
|
return pendings.empty ? blockTime_ : Duration.zero;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Sets the blocking time for IO watchers.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* blockTime = The blocking time. Cannot be larger than
|
||||||
|
* $(D_PSYMBOL maxBlockTime).
|
||||||
|
*/
|
||||||
|
protected @property void blockTime(in Duration blockTime) @safe pure nothrow @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(blockTime <= 1.dur!"hours", "Too long to wait.");
|
||||||
|
assert(!blockTime.isNegative);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
blockTime_ = blockTime;
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
auto loop = defaultAllocator.make!TestLoop;
|
||||||
|
assert(loop.blockTime == 1.dur!"minutes");
|
||||||
|
|
||||||
|
loop.blockTime = 2.dur!"minutes";
|
||||||
|
assert(loop.blockTime == 2.dur!"minutes");
|
||||||
|
|
||||||
|
defaultAllocator.dispose(loop);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Does the actual polling.
|
||||||
|
*/
|
||||||
|
abstract protected void poll() @nogc;
|
||||||
|
|
||||||
|
/// Maximal block time.
|
||||||
|
protected Duration blockTime_ = 1.dur!"minutes";
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Exception thrown on errors in the event loop.
|
||||||
|
*/
|
||||||
|
class BadLoopException : Exception
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* file = The file where the exception occurred.
|
||||||
|
* line = The line number where the exception occurred.
|
||||||
|
* next = The previous exception in the chain of exceptions, if any.
|
||||||
|
*/
|
||||||
|
this(string file = __FILE__, size_t line = __LINE__, Throwable next = null)
|
||||||
|
pure nothrow const @safe @nogc
|
||||||
|
{
|
||||||
|
super("Event loop cannot be initialized.", file, line, next);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns the event loop used by default. If an event loop wasn't set with
|
||||||
|
* $(D_PSYMBOL defaultLoop) before, $(D_PSYMBOL defaultLoop) will try to
|
||||||
|
* choose an event loop supported on the system.
|
||||||
|
*
|
||||||
|
* Returns: The default event loop.
|
||||||
|
*/
|
||||||
|
@property Loop defaultLoop() @nogc
|
||||||
|
{
|
||||||
|
if (defaultLoop_ !is null)
|
||||||
|
{
|
||||||
|
return defaultLoop_;
|
||||||
|
}
|
||||||
|
version (Epoll)
|
||||||
|
{
|
||||||
|
defaultLoop_ = MmapPool.instance.make!EpollLoop;
|
||||||
|
}
|
||||||
|
else version (IOCP)
|
||||||
|
{
|
||||||
|
defaultLoop_ = MmapPool.instance.make!IOCPLoop;
|
||||||
|
}
|
||||||
|
else version (Kqueue)
|
||||||
|
{
|
||||||
|
import tanya.async.event.kqueue;
|
||||||
|
defaultLoop_ = MmapPool.instance.make!KqueueLoop;
|
||||||
|
}
|
||||||
|
return defaultLoop_;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Sets the default event loop.
|
||||||
|
*
|
||||||
|
* This property makes it possible to implement your own backends or event
|
||||||
|
* loops, for example, if the system is not supported or if you want to
|
||||||
|
* extend the supported implementation. Just extend $(D_PSYMBOL Loop) and pass
|
||||||
|
* your implementation to this property.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* loop = The event loop.
|
||||||
|
*/
|
||||||
|
@property void defaultLoop(Loop loop) @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(loop !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
defaultLoop_ = loop;
|
||||||
|
}
|
||||||
|
|
||||||
|
private Loop defaultLoop_;
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
auto oldLoop = defaultLoop_;
|
||||||
|
auto loop = defaultAllocator.make!TestLoop;
|
||||||
|
|
||||||
|
defaultLoop = loop;
|
||||||
|
assert(defaultLoop_ is loop);
|
||||||
|
assert(defaultLoop is loop);
|
||||||
|
|
||||||
|
defaultLoop_ = oldLoop;
|
||||||
|
defaultAllocator.dispose(loop);
|
||||||
|
}
|
18
source/tanya/async/package.d
Normal file
18
source/tanya/async/package.d
Normal file
@ -0,0 +1,18 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* This package provides asynchronous capabilities.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.async;
|
||||||
|
|
||||||
|
public import tanya.async.loop;
|
||||||
|
public import tanya.async.protocol;
|
||||||
|
public import tanya.async.transport;
|
||||||
|
public import tanya.async.watcher;
|
56
source/tanya/async/protocol.d
Normal file
56
source/tanya/async/protocol.d
Normal file
@ -0,0 +1,56 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* This module contains protocol which handle data in asynchronous
|
||||||
|
* applications.
|
||||||
|
*
|
||||||
|
* When an event from the network arrives, a protocol method gets
|
||||||
|
* called and can respond to the event.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.async.protocol;
|
||||||
|
|
||||||
|
import tanya.network.socket;
|
||||||
|
import tanya.async.transport;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Common protocol interface.
|
||||||
|
*/
|
||||||
|
interface Protocol
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* data = Read data.
|
||||||
|
*/
|
||||||
|
void received(in ubyte[] data) @nogc;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Called when a connection is made.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* transport = Protocol transport.
|
||||||
|
*/
|
||||||
|
void connected(DuplexTransport transport) @nogc;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Called when a connection is lost.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* exception = $(D_PSYMBOL Exception) if an error caused
|
||||||
|
* the disconnect, $(D_KEYWORD null) otherwise.
|
||||||
|
*/
|
||||||
|
void disconnected(SocketException exception) @nogc;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Interface for TCP.
|
||||||
|
*/
|
||||||
|
interface TransmissionControlProtocol : Protocol
|
||||||
|
{
|
||||||
|
}
|
103
source/tanya/async/transport.d
Normal file
103
source/tanya/async/transport.d
Normal file
@ -0,0 +1,103 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* This module contains transports which are responsible for data dilvery
|
||||||
|
* between two parties of an asynchronous communication.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.async.transport;
|
||||||
|
|
||||||
|
import tanya.async.protocol;
|
||||||
|
import tanya.network.socket;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Base transport interface.
|
||||||
|
*/
|
||||||
|
interface Transport
|
||||||
|
{
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Interface for read-only transports.
|
||||||
|
*/
|
||||||
|
interface ReadTransport : Transport
|
||||||
|
{
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Interface for write-only transports.
|
||||||
|
*/
|
||||||
|
interface WriteTransport : Transport
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Write some data to the transport.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* data = Data to send.
|
||||||
|
*/
|
||||||
|
void write(ubyte[] data) @nogc;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Represents a bidirectional transport.
|
||||||
|
*/
|
||||||
|
interface DuplexTransport : ReadTransport, WriteTransport
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Returns: Application protocol.
|
||||||
|
*
|
||||||
|
* Postcondition: $(D_INLINECODE protocol !is null)
|
||||||
|
*/
|
||||||
|
@property Protocol protocol() pure nothrow @safe @nogc
|
||||||
|
out (protocol)
|
||||||
|
{
|
||||||
|
assert(protocol !is null);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Switches the protocol.
|
||||||
|
*
|
||||||
|
* The protocol is deallocated by the event loop, it should currently be
|
||||||
|
* allocated with $(D_PSYMBOL MmapPool).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* protocol = Application protocol.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE protocol !is null)
|
||||||
|
*/
|
||||||
|
@property void protocol(Protocol protocol) pure nothrow @safe @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(protocol !is null);
|
||||||
|
}
|
||||||
|
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns $(D_PARAM true) if the transport is closing or closed.
|
||||||
|
*/
|
||||||
|
bool isClosing() const pure nothrow @safe @nogc;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Close the transport.
|
||||||
|
*
|
||||||
|
* Buffered data will be flushed. No more data will be received.
|
||||||
|
*/
|
||||||
|
void close() @nogc;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Represents a socket transport.
|
||||||
|
*/
|
||||||
|
interface SocketTransport : Transport
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Returns: Socket.
|
||||||
|
*/
|
||||||
|
@property Socket socket() pure nothrow @safe @nogc;
|
||||||
|
}
|
132
source/tanya/async/watcher.d
Normal file
132
source/tanya/async/watcher.d
Normal file
@ -0,0 +1,132 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Watchers register user's interest in some event.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.async.watcher;
|
||||||
|
|
||||||
|
import std.functional;
|
||||||
|
import std.exception;
|
||||||
|
import tanya.async.loop;
|
||||||
|
import tanya.async.protocol;
|
||||||
|
import tanya.async.transport;
|
||||||
|
import tanya.container.buffer;
|
||||||
|
import tanya.container.queue;
|
||||||
|
import tanya.memory;
|
||||||
|
import tanya.memory.mmappool;
|
||||||
|
import tanya.network.socket;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* A watcher is an opaque structure that you allocate and register to record
|
||||||
|
* your interest in some event.
|
||||||
|
*/
|
||||||
|
abstract class Watcher
|
||||||
|
{
|
||||||
|
/// Whether the watcher is active.
|
||||||
|
bool active;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Invoke some action on event.
|
||||||
|
*/
|
||||||
|
void invoke() @nogc;
|
||||||
|
}
|
||||||
|
|
||||||
|
version (unittest)
|
||||||
|
{
|
||||||
|
final class DummyWatcher : Watcher
|
||||||
|
{
|
||||||
|
bool invoked;
|
||||||
|
|
||||||
|
override void invoke() @nogc
|
||||||
|
{
|
||||||
|
this.invoked = true;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Socket watcher.
|
||||||
|
*/
|
||||||
|
abstract class SocketWatcher : Watcher
|
||||||
|
{
|
||||||
|
/// Watched socket.
|
||||||
|
protected Socket socket_;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* socket = Socket.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE socket !is null)
|
||||||
|
*/
|
||||||
|
this(Socket socket) pure nothrow @safe @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(socket !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
socket_ = socket;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Socket.
|
||||||
|
*/
|
||||||
|
@property Socket socket() pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return socket_;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Connection watcher.
|
||||||
|
*/
|
||||||
|
class ConnectionWatcher : SocketWatcher
|
||||||
|
{
|
||||||
|
/// Incoming connection queue.
|
||||||
|
Queue!DuplexTransport incoming;
|
||||||
|
|
||||||
|
private Protocol delegate() @nogc protocolFactory;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* socket = Socket.
|
||||||
|
*/
|
||||||
|
this(Socket socket) @nogc
|
||||||
|
{
|
||||||
|
super(socket);
|
||||||
|
incoming = Queue!DuplexTransport(MmapPool.instance);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* P = Protocol should be used.
|
||||||
|
*/
|
||||||
|
void setProtocol(P : Protocol)() @nogc
|
||||||
|
{
|
||||||
|
this.protocolFactory = () @nogc => cast(Protocol) MmapPool.instance.make!P;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Invokes new connection callback.
|
||||||
|
*/
|
||||||
|
override void invoke() @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(protocolFactory !is null, "Protocol isn't set.");
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
foreach (transport; incoming)
|
||||||
|
{
|
||||||
|
transport.protocol = protocolFactory();
|
||||||
|
transport.protocol.connected(transport);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
1652
source/tanya/container/array.d
Normal file
1652
source/tanya/container/array.d
Normal file
File diff suppressed because it is too large
Load Diff
@ -3,361 +3,385 @@
|
|||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Copyright: Eugene Wissner 2016.
|
* This module contains buffers designed for C-style input/output APIs.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
* Mozilla Public License, v. 2.0).
|
* Mozilla Public License, v. 2.0).
|
||||||
* Authors: $(LINK2 mailto:belka@caraus.de, Eugene Wissner)
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
*/
|
*/
|
||||||
module tanya.container.buffer;
|
module tanya.container.buffer;
|
||||||
|
|
||||||
|
import std.traits;
|
||||||
import tanya.memory;
|
import tanya.memory;
|
||||||
|
|
||||||
@nogc:
|
|
||||||
|
|
||||||
version (unittest)
|
version (unittest)
|
||||||
{
|
{
|
||||||
private int fillBuffer(void* buffer,
|
private int fillBuffer(ubyte[] buffer,
|
||||||
in size_t size,
|
in size_t size,
|
||||||
int start = 0,
|
int start = 0,
|
||||||
int end = 10)
|
int end = 10) @nogc pure nothrow
|
||||||
in
|
in
|
||||||
{
|
{
|
||||||
assert(start < end);
|
assert(start < end);
|
||||||
}
|
}
|
||||||
body
|
body
|
||||||
{
|
{
|
||||||
ubyte[] buf = cast(ubyte[]) buffer[0..size];
|
|
||||||
auto numberRead = end - start;
|
auto numberRead = end - start;
|
||||||
|
|
||||||
for (ubyte i; i < numberRead; ++i)
|
for (ubyte i; i < numberRead; ++i)
|
||||||
{
|
{
|
||||||
buf[i] = cast(ubyte) (start + i);
|
buffer[i] = cast(ubyte) (start + i);
|
||||||
}
|
}
|
||||||
return numberRead;
|
return numberRead;
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Interface for implemeting input/output buffers.
|
* Self-expanding buffer, that can be used with functions returning the number
|
||||||
*/
|
* of the read bytes.
|
||||||
interface Buffer
|
*
|
||||||
{
|
* This buffer supports asynchronous reading. It means you can pass a new chunk
|
||||||
@nogc:
|
* to an asynchronous read function during you are working with already
|
||||||
/**
|
* available data. But only one asynchronous call at a time is supported. Be
|
||||||
* Returns: The size of the internal buffer.
|
* sure to call $(D_PSYMBOL ReadBuffer.clear()) before you append the result
|
||||||
*/
|
* of the pended asynchronous call.
|
||||||
@property size_t capacity() const @safe pure nothrow;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Data size.
|
|
||||||
*/
|
|
||||||
@property size_t length() const @safe pure nothrow;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Available space.
|
|
||||||
*/
|
|
||||||
@property size_t free() const @safe pure nothrow;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Appends some data to the buffer.
|
|
||||||
*
|
*
|
||||||
* Params:
|
* Params:
|
||||||
* buffer = Buffer chunk got with $(D_PSYMBOL buffer).
|
* T = Buffer type.
|
||||||
*/
|
*/
|
||||||
Buffer opOpAssign(string op)(void[] buffer)
|
struct ReadBuffer(T = ubyte)
|
||||||
if (op == "~");
|
if (isScalarType!T)
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Buffer that can be used with C functions accepting void pointer and
|
|
||||||
* returning the number of the read bytes.
|
|
||||||
*/
|
|
||||||
class ReadBuffer : Buffer
|
|
||||||
{
|
{
|
||||||
@nogc:
|
|
||||||
/// Internal buffer.
|
/// Internal buffer.
|
||||||
protected ubyte[] _buffer;
|
private T[] buffer_;
|
||||||
|
|
||||||
/// Filled buffer length.
|
/// Filled buffer length.
|
||||||
protected size_t _length;
|
private size_t length_;
|
||||||
|
|
||||||
|
/// Start of available data.
|
||||||
|
private size_t start;
|
||||||
|
|
||||||
|
/// Last position returned with $(D_KEYWORD []).
|
||||||
|
private size_t ring;
|
||||||
|
|
||||||
/// Available space.
|
/// Available space.
|
||||||
protected immutable size_t minAvailable;
|
private immutable size_t minAvailable = 1024;
|
||||||
|
|
||||||
/// Size by which the buffer will grow.
|
/// Size by which the buffer will grow.
|
||||||
protected immutable size_t blockSize;
|
private immutable size_t blockSize = 8192;
|
||||||
|
|
||||||
private Allocator allocator;
|
|
||||||
|
|
||||||
invariant
|
invariant
|
||||||
{
|
{
|
||||||
assert(_length <= _buffer.length);
|
assert(length_ <= buffer_.length);
|
||||||
assert(blockSize > 0);
|
assert(blockSize > 0);
|
||||||
assert(minAvailable > 0);
|
assert(minAvailable > 0);
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
|
* Creates a new read buffer.
|
||||||
|
*
|
||||||
* Params:
|
* Params:
|
||||||
* size = Initial buffer size and the size by which the buffer
|
* size = Initial buffer size and the size by which the buffer
|
||||||
* will grow.
|
* will grow.
|
||||||
* minAvailable = minimal size should be always available to fill.
|
* minAvailable = minimal size should be always available to fill.
|
||||||
* So it will reallocate if $(D_INLINECODE
|
* So it will reallocate if $(D_INLINECODE
|
||||||
* $(D_PSYMBOL free) < $(D_PARAM minAvailable)
|
* $(D_PSYMBOL free) < $(D_PARAM minAvailable)).
|
||||||
* ).
|
* allocator = Allocator.
|
||||||
*/
|
*/
|
||||||
this(size_t size = 8192,
|
this(in size_t size,
|
||||||
size_t minAvailable = 1024,
|
in size_t minAvailable = 1024,
|
||||||
Allocator allocator = defaultAllocator)
|
shared Allocator allocator = defaultAllocator) @trusted
|
||||||
{
|
{
|
||||||
this.allocator = allocator;
|
this(allocator);
|
||||||
this.minAvailable = minAvailable;
|
this.minAvailable = minAvailable;
|
||||||
this.blockSize = size;
|
this.blockSize = size;
|
||||||
resizeArray!ubyte(this.allocator, _buffer, size);
|
buffer_ = cast(T[]) allocator_.allocate(size * T.sizeof);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
this(shared Allocator allocator)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator_ is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
allocator_ = allocator;
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Deallocates the internal buffer.
|
* Deallocates the internal buffer.
|
||||||
*/
|
*/
|
||||||
~this()
|
~this() @trusted
|
||||||
{
|
{
|
||||||
finalize(allocator, _buffer);
|
allocator.deallocate(buffer_);
|
||||||
}
|
}
|
||||||
|
|
||||||
///
|
///
|
||||||
unittest
|
unittest
|
||||||
{
|
{
|
||||||
auto b = make!ReadBuffer(defaultAllocator);
|
ReadBuffer!ubyte b;
|
||||||
assert(b.capacity == 8192);
|
assert(b.capacity == 0);
|
||||||
assert(b.length == 0);
|
assert(b.length == 0);
|
||||||
|
|
||||||
finalize(defaultAllocator, b);
|
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Returns: The size of the internal buffer.
|
* Returns: The size of the internal buffer.
|
||||||
*/
|
*/
|
||||||
@property size_t capacity() const @safe pure nothrow
|
@property size_t capacity() const
|
||||||
{
|
{
|
||||||
return _buffer.length;
|
return buffer_.length;
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Returns: Data size.
|
* Returns: Data size.
|
||||||
*/
|
*/
|
||||||
@property size_t length() const @safe pure nothrow
|
@property size_t length() const
|
||||||
{
|
{
|
||||||
return _length;
|
return length_ - start;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
alias opDollar = length;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Clears the buffer.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD this).
|
||||||
|
*/
|
||||||
|
void clear()
|
||||||
|
{
|
||||||
|
start = length_ = ring;
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Returns: Available space.
|
* Returns: Available space.
|
||||||
*/
|
*/
|
||||||
@property size_t free() const @safe pure nothrow
|
@property size_t free() const
|
||||||
{
|
{
|
||||||
return capacity - length;
|
return length > ring ? capacity - length : capacity - ring;
|
||||||
}
|
}
|
||||||
|
|
||||||
///
|
///
|
||||||
unittest
|
unittest
|
||||||
{
|
{
|
||||||
auto b = make!ReadBuffer(defaultAllocator);
|
ReadBuffer!ubyte b;
|
||||||
size_t numberRead;
|
size_t numberRead;
|
||||||
void* buf;
|
|
||||||
|
assert(b.free == 0);
|
||||||
|
|
||||||
// Fills the buffer with values 0..10
|
// Fills the buffer with values 0..10
|
||||||
assert(b.free == b.blockSize);
|
numberRead = fillBuffer(b[], b.free, 0, 10);
|
||||||
buf = b.buffer;
|
b += numberRead;
|
||||||
numberRead = fillBuffer(buf, b.free, 0, 10);
|
|
||||||
b ~= buf[0..numberRead];
|
|
||||||
assert(b.free == b.blockSize - numberRead);
|
assert(b.free == b.blockSize - numberRead);
|
||||||
b[];
|
b.clear();
|
||||||
assert(b.free == b.blockSize);
|
assert(b.free == b.blockSize);
|
||||||
|
|
||||||
finalize(defaultAllocator, b);
|
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Returns a pointer to a chunk of the internal buffer. You can pass it to
|
* Appends some data to the buffer.
|
||||||
* a function that requires such a buffer.
|
|
||||||
*
|
|
||||||
* Set the buffer again after reading something into it. Append
|
|
||||||
* $(D_KEYWORD ~=) a slice from the beginning of the buffer you got and
|
|
||||||
* till the number of the read bytes. The data will be appended to the
|
|
||||||
* existing buffer.
|
|
||||||
*
|
|
||||||
* Returns: A chunk of available buffer.
|
|
||||||
*/
|
|
||||||
@property void* buffer()
|
|
||||||
{
|
|
||||||
if (capacity - length < minAvailable)
|
|
||||||
{
|
|
||||||
resizeArray!ubyte(this.allocator, _buffer, capacity + blockSize);
|
|
||||||
}
|
|
||||||
return _buffer[_length..$].ptr;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Appends some data to the buffer. Use only the buffer you got
|
|
||||||
* with $(D_PSYMBOL buffer)!
|
|
||||||
*
|
*
|
||||||
* Params:
|
* Params:
|
||||||
* buffer = Buffer chunk got with $(D_PSYMBOL buffer).
|
* length = Number of the bytes read.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD this).
|
||||||
*/
|
*/
|
||||||
ReadBuffer opOpAssign(string op)(void[] buffer)
|
ref ReadBuffer opOpAssign(string op)(in size_t length)
|
||||||
if (op == "~")
|
if (op == "+")
|
||||||
{
|
{
|
||||||
_length += buffer.length;
|
length_ += length;
|
||||||
|
ring = start;
|
||||||
return this;
|
return this;
|
||||||
}
|
}
|
||||||
|
|
||||||
///
|
///
|
||||||
unittest
|
unittest
|
||||||
{
|
{
|
||||||
auto b = make!ReadBuffer(defaultAllocator);
|
ReadBuffer!ubyte b;
|
||||||
size_t numberRead;
|
size_t numberRead;
|
||||||
void* buf;
|
|
||||||
ubyte[] result;
|
ubyte[] result;
|
||||||
|
|
||||||
// Fills the buffer with values 0..10
|
// Fills the buffer with values 0..10
|
||||||
buf = b.buffer;
|
numberRead = fillBuffer(b[], b.free, 0, 10);
|
||||||
numberRead = fillBuffer(buf, b.free, 0, 10);
|
b += numberRead;
|
||||||
b ~= buf[0..numberRead];
|
|
||||||
|
|
||||||
result = b[];
|
result = b[0 .. $];
|
||||||
assert(result[0] == 0);
|
assert(result[0] == 0);
|
||||||
assert(result[1] == 1);
|
assert(result[1] == 1);
|
||||||
assert(result[9] == 9);
|
assert(result[9] == 9);
|
||||||
|
b.clear();
|
||||||
|
|
||||||
// It shouldn't overwrite, but append another 5 bytes to the buffer
|
// It shouldn't overwrite, but append another 5 bytes to the buffer
|
||||||
buf = b.buffer;
|
numberRead = fillBuffer(b[], b.free, 0, 10);
|
||||||
numberRead = fillBuffer(buf, b.free, 0, 10);
|
b += numberRead;
|
||||||
b ~= buf[0..numberRead];
|
|
||||||
|
|
||||||
buf = b.buffer;
|
numberRead = fillBuffer(b[], b.free, 20, 25);
|
||||||
numberRead = fillBuffer(buf, b.free, 20, 25);
|
b += numberRead;
|
||||||
b ~= buf[0..numberRead];
|
|
||||||
|
|
||||||
result = b[];
|
result = b[0..$];
|
||||||
assert(result[0] == 0);
|
assert(result[0] == 0);
|
||||||
assert(result[1] == 1);
|
assert(result[1] == 1);
|
||||||
assert(result[9] == 9);
|
assert(result[9] == 9);
|
||||||
assert(result[10] == 20);
|
assert(result[10] == 20);
|
||||||
assert(result[14] == 24);
|
assert(result[14] == 24);
|
||||||
|
|
||||||
finalize(defaultAllocator, b);
|
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Returns the buffer. The buffer is cleared after that. So you can get it
|
* Params:
|
||||||
* only one time.
|
* start = Start position.
|
||||||
|
* end = End position.
|
||||||
*
|
*
|
||||||
* Returns: The buffer as array.
|
* Returns: Array between $(D_PARAM start) and $(D_PARAM end).
|
||||||
*/
|
*/
|
||||||
@property ubyte[] opIndex()
|
T[] opSlice(in size_t start, in size_t end)
|
||||||
{
|
{
|
||||||
auto ret = _buffer[0.._length];
|
return buffer_[this.start + start .. this.start + end];
|
||||||
_length = 0;
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns a free chunk of the buffer.
|
||||||
|
*
|
||||||
|
* Add ($(D_KEYWORD +=)) the number of the read bytes after using it.
|
||||||
|
*
|
||||||
|
* Returns: A free chunk of the buffer.
|
||||||
|
*/
|
||||||
|
T[] opIndex()
|
||||||
|
{
|
||||||
|
if (start > 0)
|
||||||
|
{
|
||||||
|
auto ret = buffer_[0 .. start];
|
||||||
|
ring = 0;
|
||||||
return ret;
|
return ret;
|
||||||
}
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
if (capacity - length < minAvailable)
|
||||||
|
{
|
||||||
|
void[] buf = buffer_;
|
||||||
|
immutable cap = capacity;
|
||||||
|
() @trusted {
|
||||||
|
allocator.reallocate(buf, (cap + blockSize) * T.sizeof);
|
||||||
|
buffer_ = cast(T[]) buf;
|
||||||
|
}();
|
||||||
|
}
|
||||||
|
ring = length_;
|
||||||
|
return buffer_[length_ .. $];
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
///
|
///
|
||||||
unittest
|
unittest
|
||||||
{
|
{
|
||||||
auto b = make!ReadBuffer(defaultAllocator);
|
ReadBuffer!ubyte b;
|
||||||
size_t numberRead;
|
size_t numberRead;
|
||||||
void* buf;
|
|
||||||
ubyte[] result;
|
ubyte[] result;
|
||||||
|
|
||||||
// Fills the buffer with values 0..10
|
// Fills the buffer with values 0..10
|
||||||
buf = b.buffer;
|
numberRead = fillBuffer(b[], b.free, 0, 10);
|
||||||
numberRead = fillBuffer(buf, b.free, 0, 10);
|
b += numberRead;
|
||||||
b ~= buf[0..numberRead];
|
|
||||||
|
|
||||||
assert(b.length == 10);
|
assert(b.length == 10);
|
||||||
result = b[];
|
result = b[0 .. $];
|
||||||
assert(result[0] == 0);
|
assert(result[0] == 0);
|
||||||
assert(result[9] == 9);
|
assert(result[9] == 9);
|
||||||
|
b.clear();
|
||||||
assert(b.length == 0);
|
assert(b.length == 0);
|
||||||
|
|
||||||
finalize(defaultAllocator, b);
|
|
||||||
}
|
}
|
||||||
|
|
||||||
|
mixin DefaultAllocator;
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
static assert(is(ReadBuffer!int));
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Circular, self-expanding buffer that can be used with C functions accepting
|
* Circular, self-expanding buffer with overflow support. Can be used with
|
||||||
* void pointer and returning the number of the read bytes.
|
* functions returning the number of the transferred bytes.
|
||||||
*
|
*
|
||||||
* The buffer is optimized for situations where you read all the data from it
|
* The buffer is optimized for situations where you read all the data from it
|
||||||
* at once (without writing to it occasionally). It can become ineffective if
|
* at once (without writing to it occasionally). It can become ineffective if
|
||||||
* you permanently keep some data in the buffer and alternate writing and
|
* you permanently keep some data in the buffer and alternate writing and
|
||||||
* reading, because it may allocate and move elements.
|
* reading, because it may allocate and move elements.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Buffer type.
|
||||||
*/
|
*/
|
||||||
class WriteBuffer : Buffer
|
struct WriteBuffer(T = ubyte)
|
||||||
|
if (isScalarType!T)
|
||||||
{
|
{
|
||||||
@nogc:
|
|
||||||
/// Internal buffer.
|
/// Internal buffer.
|
||||||
protected ubyte[] _buffer;
|
private T[] buffer_;
|
||||||
|
|
||||||
/// Buffer start position.
|
/// Buffer start position.
|
||||||
protected size_t start;
|
private size_t start;
|
||||||
|
|
||||||
/// Buffer ring area size. After this position begins buffer overflow area.
|
/// Buffer ring area size. After this position begins buffer overflow area.
|
||||||
protected size_t ring;
|
private size_t ring;
|
||||||
|
|
||||||
/// Size by which the buffer will grow.
|
/// Size by which the buffer will grow.
|
||||||
protected immutable size_t blockSize;
|
private immutable size_t blockSize;
|
||||||
|
|
||||||
/// The position of the free area in the buffer.
|
/// The position of the free area in the buffer.
|
||||||
protected size_t position;
|
private size_t position;
|
||||||
|
|
||||||
private Allocator allocator;
|
|
||||||
|
|
||||||
invariant
|
invariant
|
||||||
{
|
{
|
||||||
assert(blockSize > 0);
|
assert(blockSize > 0);
|
||||||
// position can refer to an element outside the buffer if the buffer is full.
|
// Position can refer to an element outside the buffer if the buffer is full.
|
||||||
assert(position <= _buffer.length);
|
assert(position <= buffer_.length);
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Params:
|
* Params:
|
||||||
* size = Initial buffer size and the size by which the buffer
|
* size = Initial buffer size and the size by which the buffer will
|
||||||
* will grow.
|
* grow.
|
||||||
|
* allocator = Allocator.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE size > 0 && allocator !is null)
|
||||||
*/
|
*/
|
||||||
this(size_t size = 8192,
|
this(in size_t size, shared Allocator allocator = defaultAllocator) @trusted
|
||||||
Allocator allocator = defaultAllocator)
|
in
|
||||||
|
{
|
||||||
|
assert(size > 0);
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
{
|
{
|
||||||
this.allocator = allocator;
|
|
||||||
blockSize = size;
|
blockSize = size;
|
||||||
ring = size - 1;
|
ring = size - 1;
|
||||||
resizeArray!ubyte(this.allocator, _buffer, size);
|
allocator_ = allocator;
|
||||||
|
buffer_ = cast(T[]) allocator_.allocate(size * T.sizeof);
|
||||||
}
|
}
|
||||||
|
|
||||||
|
@disable this();
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Deallocates the internal buffer.
|
* Deallocates the internal buffer.
|
||||||
*/
|
*/
|
||||||
~this()
|
~this()
|
||||||
{
|
{
|
||||||
finalize(allocator, _buffer);
|
allocator.deallocate(buffer_);
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Returns: The size of the internal buffer.
|
* Returns: The size of the internal buffer.
|
||||||
*/
|
*/
|
||||||
@property size_t capacity() const @safe pure nothrow
|
@property size_t capacity() const
|
||||||
{
|
{
|
||||||
return _buffer.length;
|
return buffer_.length;
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Note that $(D_PSYMBOL length) doesn't return the real length of the data,
|
* Note that $(D_PSYMBOL length) doesn't return the real length of the data,
|
||||||
* but only the array length that will be returned with $(D_PSYMBOL buffer)
|
* but only the array length that will be returned with $(D_PSYMBOL opIndex)
|
||||||
* next time. Be sure to call $(D_PSYMBOL buffer) and set $(D_PSYMBOL written)
|
* next time. Be sure to call $(D_PSYMBOL opIndex) and set $(D_KEYWORD +=)
|
||||||
* until $(D_PSYMBOL length) returns 0.
|
* until $(D_PSYMBOL length) returns 0.
|
||||||
*
|
*
|
||||||
* Returns: Data size.
|
* Returns: Data size.
|
||||||
*/
|
*/
|
||||||
@property size_t length() const @safe pure nothrow
|
@property size_t length() const
|
||||||
{
|
{
|
||||||
if (position > ring || position < start) // Buffer overflowed
|
if (position > ring || position < start) // Buffer overflowed
|
||||||
{
|
{
|
||||||
@ -369,34 +393,35 @@ class WriteBuffer : Buffer
|
|||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
alias opDollar = length;
|
||||||
|
|
||||||
///
|
///
|
||||||
unittest
|
unittest
|
||||||
{
|
{
|
||||||
auto b = make!WriteBuffer(defaultAllocator, 4);
|
auto b = WriteBuffer!ubyte(4);
|
||||||
ubyte[3] buf = [48, 23, 255];
|
ubyte[3] buf = [48, 23, 255];
|
||||||
|
|
||||||
b ~= buf;
|
b ~= buf;
|
||||||
assert(b.length == 3);
|
assert(b.length == 3);
|
||||||
b.written = 2;
|
b += 2;
|
||||||
assert(b.length == 1);
|
assert(b.length == 1);
|
||||||
|
|
||||||
b ~= buf;
|
b ~= buf;
|
||||||
assert(b.length == 2);
|
assert(b.length == 2);
|
||||||
b.written = 2;
|
b += 2;
|
||||||
assert(b.length == 2);
|
assert(b.length == 2);
|
||||||
|
|
||||||
b ~= buf;
|
b ~= buf;
|
||||||
assert(b.length == 5);
|
assert(b.length == 5);
|
||||||
b.written = b.length;
|
b += b.length;
|
||||||
assert(b.length == 0);
|
assert(b.length == 0);
|
||||||
|
|
||||||
finalize(defaultAllocator, b);
|
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Returns: Available space.
|
* Returns: Available space.
|
||||||
*/
|
*/
|
||||||
@property size_t free() const @safe pure nothrow
|
@property size_t free() const
|
||||||
{
|
{
|
||||||
return capacity - length;
|
return capacity - length;
|
||||||
}
|
}
|
||||||
@ -405,9 +430,9 @@ class WriteBuffer : Buffer
|
|||||||
* Appends data to the buffer.
|
* Appends data to the buffer.
|
||||||
*
|
*
|
||||||
* Params:
|
* Params:
|
||||||
* buffer = Buffer chunk got with $(D_PSYMBOL buffer).
|
* buffer = Buffer chunk got with $(D_PSYMBOL opIndex).
|
||||||
*/
|
*/
|
||||||
WriteBuffer opOpAssign(string op)(ubyte[] buffer)
|
ref WriteBuffer opOpAssign(string op)(in T[] buffer)
|
||||||
if (op == "~")
|
if (op == "~")
|
||||||
{
|
{
|
||||||
size_t end, start;
|
size_t end, start;
|
||||||
@ -422,7 +447,7 @@ class WriteBuffer : Buffer
|
|||||||
end = afterRing;
|
end = afterRing;
|
||||||
}
|
}
|
||||||
start = end - position;
|
start = end - position;
|
||||||
_buffer[position..end] = buffer[0..start];
|
buffer_[position .. end] = buffer[0 .. start];
|
||||||
if (end == afterRing)
|
if (end == afterRing)
|
||||||
{
|
{
|
||||||
position = this.start == 0 ? afterRing : 0;
|
position = this.start == 0 ? afterRing : 0;
|
||||||
@ -442,7 +467,7 @@ class WriteBuffer : Buffer
|
|||||||
end = this.start;
|
end = this.start;
|
||||||
}
|
}
|
||||||
auto areaEnd = end - position + start;
|
auto areaEnd = end - position + start;
|
||||||
_buffer[position..end] = buffer[start..areaEnd];
|
buffer_[position .. end] = buffer[start .. areaEnd];
|
||||||
position = end == this.start ? ring + 1 : end - position;
|
position = end == this.start ? ring + 1 : end - position;
|
||||||
start = areaEnd;
|
start = areaEnd;
|
||||||
}
|
}
|
||||||
@ -453,11 +478,14 @@ class WriteBuffer : Buffer
|
|||||||
end = position + buffer.length - start;
|
end = position + buffer.length - start;
|
||||||
if (end > capacity)
|
if (end > capacity)
|
||||||
{
|
{
|
||||||
auto newSize = end / blockSize * blockSize + blockSize;
|
auto newSize = (end / blockSize * blockSize + blockSize) * T.sizeof;
|
||||||
|
() @trusted {
|
||||||
resizeArray!ubyte(this.allocator, _buffer, newSize);
|
void[] buf = buffer_;
|
||||||
|
allocator.reallocate(buf, newSize);
|
||||||
|
buffer_ = cast(T[]) buf;
|
||||||
|
}();
|
||||||
}
|
}
|
||||||
_buffer[position..end] = buffer[start..$];
|
buffer_[position .. end] = buffer[start .. $];
|
||||||
position = end;
|
position = end;
|
||||||
if (this.start == 0)
|
if (this.start == 0)
|
||||||
{
|
{
|
||||||
@ -471,47 +499,50 @@ class WriteBuffer : Buffer
|
|||||||
///
|
///
|
||||||
unittest
|
unittest
|
||||||
{
|
{
|
||||||
auto b = make!WriteBuffer(defaultAllocator, 4);
|
auto b = WriteBuffer!ubyte(4);
|
||||||
ubyte[3] buf = [48, 23, 255];
|
ubyte[3] buf = [48, 23, 255];
|
||||||
|
|
||||||
b ~= buf;
|
b ~= buf;
|
||||||
assert(b.capacity == 4);
|
assert(b.capacity == 4);
|
||||||
assert(b._buffer[0] == 48 && b._buffer[1] == 23 && b._buffer[2] == 255);
|
assert(b.buffer_[0] == 48 && b.buffer_[1] == 23 && b.buffer_[2] == 255);
|
||||||
|
|
||||||
b.written = 2;
|
b += 2;
|
||||||
b ~= buf;
|
b ~= buf;
|
||||||
assert(b.capacity == 4);
|
assert(b.capacity == 4);
|
||||||
assert(b._buffer[0] == 23 && b._buffer[1] == 255
|
assert(b.buffer_[0] == 23 && b.buffer_[1] == 255
|
||||||
&& b._buffer[2] == 255 && b._buffer[3] == 48);
|
&& b.buffer_[2] == 255 && b.buffer_[3] == 48);
|
||||||
|
|
||||||
b.written = 2;
|
b += 2;
|
||||||
b ~= buf;
|
b ~= buf;
|
||||||
assert(b.capacity == 8);
|
assert(b.capacity == 8);
|
||||||
assert(b._buffer[0] == 23 && b._buffer[1] == 255
|
assert(b.buffer_[0] == 23 && b.buffer_[1] == 255
|
||||||
&& b._buffer[2] == 48 && b._buffer[3] == 23 && b._buffer[4] == 255);
|
&& b.buffer_[2] == 48 && b.buffer_[3] == 23 && b.buffer_[4] == 255);
|
||||||
|
}
|
||||||
|
|
||||||
finalize(defaultAllocator, b);
|
///
|
||||||
|
unittest
|
||||||
b = make!WriteBuffer(defaultAllocator, 2);
|
{
|
||||||
|
auto b = WriteBuffer!ubyte(2);
|
||||||
|
ubyte[3] buf = [48, 23, 255];
|
||||||
|
|
||||||
b ~= buf;
|
b ~= buf;
|
||||||
assert(b.start == 0);
|
assert(b.start == 0);
|
||||||
assert(b.capacity == 4);
|
assert(b.capacity == 4);
|
||||||
assert(b.ring == 3);
|
assert(b.ring == 3);
|
||||||
assert(b.position == 3);
|
assert(b.position == 3);
|
||||||
|
|
||||||
finalize(defaultAllocator, b);
|
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Sets how many bytes were written. It will shrink the buffer
|
* Sets how many bytes were written. It will shrink the buffer
|
||||||
* appropriately. Always set this property after calling
|
* appropriately. Always call it after $(D_PSYMBOL opIndex).
|
||||||
* $(D_PSYMBOL buffer).
|
|
||||||
*
|
*
|
||||||
* Params:
|
* Params:
|
||||||
* length = Length of the written data.
|
* length = Length of the written data.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD this).
|
||||||
*/
|
*/
|
||||||
@property void written(size_t length) @safe pure nothrow
|
ref WriteBuffer opOpAssign(string op)(in size_t length)
|
||||||
|
if (op == "+")
|
||||||
in
|
in
|
||||||
{
|
{
|
||||||
assert(length <= this.length);
|
assert(length <= this.length);
|
||||||
@ -523,7 +554,7 @@ class WriteBuffer : Buffer
|
|||||||
|
|
||||||
if (length <= 0)
|
if (length <= 0)
|
||||||
{
|
{
|
||||||
return;
|
return this;
|
||||||
}
|
}
|
||||||
else if (position <= afterRing)
|
else if (position <= afterRing)
|
||||||
{
|
{
|
||||||
@ -537,19 +568,21 @@ class WriteBuffer : Buffer
|
|||||||
{
|
{
|
||||||
auto overflow = position - afterRing;
|
auto overflow = position - afterRing;
|
||||||
|
|
||||||
if (overflow > length) {
|
if (overflow > length)
|
||||||
_buffer[start.. start + length] = _buffer[afterRing.. afterRing + length];
|
{
|
||||||
_buffer[afterRing.. afterRing + length] = _buffer[afterRing + length ..position];
|
immutable afterLength = afterRing + length;
|
||||||
|
buffer_[start .. start + length] = buffer_[afterRing .. afterLength];
|
||||||
|
buffer_[afterRing .. afterLength] = buffer_[afterLength .. position];
|
||||||
position -= length;
|
position -= length;
|
||||||
}
|
}
|
||||||
else if (overflow == length)
|
else if (overflow == length)
|
||||||
{
|
{
|
||||||
_buffer[start.. start + overflow] = _buffer[afterRing..position];
|
buffer_[start .. start + overflow] = buffer_[afterRing .. position];
|
||||||
position -= overflow;
|
position -= overflow;
|
||||||
}
|
}
|
||||||
else
|
else
|
||||||
{
|
{
|
||||||
_buffer[start.. start + overflow] = _buffer[afterRing..position];
|
buffer_[start .. start + overflow] = buffer_[afterRing .. position];
|
||||||
position = overflow;
|
position = overflow;
|
||||||
}
|
}
|
||||||
start += length;
|
start += length;
|
||||||
@ -568,74 +601,90 @@ class WriteBuffer : Buffer
|
|||||||
{
|
{
|
||||||
start = 0;
|
start = 0;
|
||||||
}
|
}
|
||||||
|
return this;
|
||||||
}
|
}
|
||||||
|
|
||||||
///
|
///
|
||||||
unittest
|
unittest
|
||||||
{
|
{
|
||||||
auto b = make!WriteBuffer(defaultAllocator);
|
auto b = WriteBuffer!ubyte(6);
|
||||||
ubyte[6] buf = [23, 23, 255, 128, 127, 9];
|
ubyte[6] buf = [23, 23, 255, 128, 127, 9];
|
||||||
|
|
||||||
b ~= buf;
|
b ~= buf;
|
||||||
assert(b.length == 6);
|
assert(b.length == 6);
|
||||||
b.written = 2;
|
b += 2;
|
||||||
assert(b.length == 4);
|
assert(b.length == 4);
|
||||||
b.written = 4;
|
b += 4;
|
||||||
assert(b.length == 0);
|
assert(b.length == 0);
|
||||||
|
|
||||||
finalize(defaultAllocator, b);
|
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Returns a pointer to a buffer chunk with data. You can pass it to
|
* Returns a chunk with data.
|
||||||
* a function that requires such a buffer.
|
|
||||||
*
|
*
|
||||||
* After calling it, set $(D_PSYMBOL written) to the length could be
|
* After calling it, set $(D_KEYWORD +=) to the length could be
|
||||||
* written.
|
* written.
|
||||||
*
|
*
|
||||||
* $(D_PSYMBOL buffer) may return only part of the data. You may need
|
* $(D_PSYMBOL opIndex) may return only part of the data. You may need
|
||||||
* to call it (and set $(D_PSYMBOL written) several times until
|
* to call it and set $(D_KEYWORD +=) several times until
|
||||||
* $(D_PSYMBOL length) is 0. If all the data can be written,
|
* $(D_PSYMBOL length) is 0. If all the data can be written,
|
||||||
* maximally 3 calls are required.
|
* maximally 3 calls are required.
|
||||||
*
|
*
|
||||||
* Returns: A chunk of data buffer.
|
* Returns: A chunk of data buffer.
|
||||||
*/
|
*/
|
||||||
@property void* buffer() @safe pure nothrow
|
T[] opSlice(in size_t start, in size_t end)
|
||||||
{
|
{
|
||||||
|
immutable internStart = this.start + start;
|
||||||
|
|
||||||
if (position > ring || position < start) // Buffer overflowed
|
if (position > ring || position < start) // Buffer overflowed
|
||||||
{
|
{
|
||||||
return _buffer[start.. ring + 1].ptr;
|
return buffer_[this.start .. ring + 1 - length + end];
|
||||||
}
|
}
|
||||||
else
|
else
|
||||||
{
|
{
|
||||||
return _buffer[start..position].ptr;
|
return buffer_[this.start .. this.start + end];
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
///
|
///
|
||||||
unittest
|
unittest
|
||||||
{
|
{
|
||||||
auto b = make!WriteBuffer(defaultAllocator, 6);
|
auto b = WriteBuffer!ubyte(6);
|
||||||
ubyte[6] buf = [23, 23, 255, 128, 127, 9];
|
ubyte[6] buf = [23, 23, 255, 128, 127, 9];
|
||||||
void* returnedBuf;
|
|
||||||
|
|
||||||
b ~= buf;
|
b ~= buf;
|
||||||
returnedBuf = b.buffer;
|
assert(b[0 .. $] == buf[0 .. 6]);
|
||||||
assert(returnedBuf[0..b.length] == buf[0..6]);
|
b += 2;
|
||||||
b.written = 2;
|
|
||||||
|
|
||||||
returnedBuf = b.buffer;
|
assert(b[0 .. $] == buf[2 .. 6]);
|
||||||
assert(returnedBuf[0..b.length] == buf[2..6]);
|
|
||||||
|
|
||||||
b ~= buf;
|
b ~= buf;
|
||||||
returnedBuf = b.buffer;
|
assert(b[0 .. $] == buf[2 .. 6]);
|
||||||
assert(returnedBuf[0..b.length] == buf[2..6]);
|
b += b.length;
|
||||||
b.written = b.length;
|
|
||||||
|
|
||||||
returnedBuf = b.buffer;
|
assert(b[0 .. $] == buf[0 .. 6]);
|
||||||
assert(returnedBuf[0..b.length] == buf[0..6]);
|
b += b.length;
|
||||||
b.written = b.length;
|
|
||||||
|
|
||||||
finalize(defaultAllocator, b);
|
|
||||||
}
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* After calling it, set $(D_KEYWORD +=) to the length could be
|
||||||
|
* written.
|
||||||
|
*
|
||||||
|
* $(D_PSYMBOL opIndex) may return only part of the data. You may need
|
||||||
|
* to call it and set $(D_KEYWORD +=) several times until
|
||||||
|
* $(D_PSYMBOL length) is 0. If all the data can be written,
|
||||||
|
* maximally 3 calls are required.
|
||||||
|
*
|
||||||
|
* Returns: A chunk of data buffer.
|
||||||
|
*/
|
||||||
|
T[] opIndex()
|
||||||
|
{
|
||||||
|
return opSlice(0, length);
|
||||||
|
}
|
||||||
|
|
||||||
|
mixin DefaultAllocator;
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
static assert(is(typeof(WriteBuffer!int(5))));
|
||||||
}
|
}
|
||||||
|
111
source/tanya/container/entry.d
Normal file
111
source/tanya/container/entry.d
Normal file
@ -0,0 +1,111 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/*
|
||||||
|
* Internal package used by containers that rely on entries/nodes.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.container.entry;
|
||||||
|
|
||||||
|
import std.traits;
|
||||||
|
import tanya.typecons;
|
||||||
|
|
||||||
|
package struct SEntry(T)
|
||||||
|
{
|
||||||
|
// Item content.
|
||||||
|
T content;
|
||||||
|
|
||||||
|
// Next item.
|
||||||
|
SEntry* next;
|
||||||
|
}
|
||||||
|
|
||||||
|
package struct DEntry(T)
|
||||||
|
{
|
||||||
|
// Item content.
|
||||||
|
T content;
|
||||||
|
|
||||||
|
// Previous and next item.
|
||||||
|
DEntry* next, prev;
|
||||||
|
}
|
||||||
|
|
||||||
|
package struct HashEntry(K, V)
|
||||||
|
{
|
||||||
|
this(ref K key, ref V value)
|
||||||
|
{
|
||||||
|
this.pair = Pair!(K, V)(key, value);
|
||||||
|
}
|
||||||
|
|
||||||
|
Pair!(K, V) pair;
|
||||||
|
HashEntry* next;
|
||||||
|
}
|
||||||
|
|
||||||
|
package enum BucketStatus : byte
|
||||||
|
{
|
||||||
|
deleted = -1,
|
||||||
|
empty = 0,
|
||||||
|
used = 1,
|
||||||
|
}
|
||||||
|
|
||||||
|
package struct Bucket(T)
|
||||||
|
{
|
||||||
|
this(ref T content)
|
||||||
|
{
|
||||||
|
this.content = content;
|
||||||
|
}
|
||||||
|
|
||||||
|
@property void content(ref T content)
|
||||||
|
{
|
||||||
|
this.content_ = content;
|
||||||
|
this.status = BucketStatus.used;
|
||||||
|
}
|
||||||
|
|
||||||
|
@property ref inout(T) content() inout
|
||||||
|
{
|
||||||
|
return this.content_;
|
||||||
|
}
|
||||||
|
|
||||||
|
bool opEquals(ref T content)
|
||||||
|
{
|
||||||
|
if (this.status == BucketStatus.used && this.content == content)
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
|
bool opEquals(ref T content) const
|
||||||
|
{
|
||||||
|
if (this.status == BucketStatus.used && this.content == content)
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
|
bool opEquals(ref typeof(this) that)
|
||||||
|
{
|
||||||
|
return this.content == that.content && this.status == that.status;
|
||||||
|
}
|
||||||
|
|
||||||
|
bool opEquals(ref typeof(this) that) const
|
||||||
|
{
|
||||||
|
return this.content == that.content && this.status == that.status;
|
||||||
|
}
|
||||||
|
|
||||||
|
void remove()
|
||||||
|
{
|
||||||
|
static if (hasElaborateDestructor!T)
|
||||||
|
{
|
||||||
|
destroy(this.content);
|
||||||
|
}
|
||||||
|
this.status = BucketStatus.deleted;
|
||||||
|
}
|
||||||
|
|
||||||
|
T content_;
|
||||||
|
BucketStatus status = BucketStatus.empty;
|
||||||
|
}
|
File diff suppressed because it is too large
Load Diff
@ -3,14 +3,40 @@
|
|||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Copyright: Eugene Wissner 2016.
|
* Abstract data types whose instances are collections of other objects.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
* Mozilla Public License, v. 2.0).
|
* Mozilla Public License, v. 2.0).
|
||||||
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
*/
|
*/
|
||||||
module tanya.container;
|
module tanya.container;
|
||||||
|
|
||||||
|
public import tanya.container.array;
|
||||||
public import tanya.container.buffer;
|
public import tanya.container.buffer;
|
||||||
|
public import tanya.container.set;
|
||||||
public import tanya.container.list;
|
public import tanya.container.list;
|
||||||
public import tanya.container.vector;
|
public import tanya.container.string;
|
||||||
public import tanya.container.queue;
|
public import tanya.container.queue;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Thrown if $(D_PSYMBOL Set) cannot insert a new element because the container
|
||||||
|
* is full.
|
||||||
|
*/
|
||||||
|
class HashContainerFullException : Exception
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* msg = The message for the exception.
|
||||||
|
* file = The file where the exception occurred.
|
||||||
|
* line = The line number where the exception occurred.
|
||||||
|
* next = The previous exception in the chain of exceptions, if any.
|
||||||
|
*/
|
||||||
|
this(string msg,
|
||||||
|
string file = __FILE__,
|
||||||
|
size_t line = __LINE__,
|
||||||
|
Throwable next = null) @nogc @safe pure nothrow
|
||||||
|
{
|
||||||
|
super(msg, file, line, next);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
@ -3,104 +3,98 @@
|
|||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Copyright: Eugene Wissner 2016.
|
* FIFO queue.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
* Mozilla Public License, v. 2.0).
|
* Mozilla Public License, v. 2.0).
|
||||||
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
*/
|
*/
|
||||||
module tanya.container.queue;
|
module tanya.container.queue;
|
||||||
|
|
||||||
|
import core.exception;
|
||||||
|
import std.traits;
|
||||||
|
import std.algorithm.mutation;
|
||||||
|
import tanya.container.entry;
|
||||||
import tanya.memory;
|
import tanya.memory;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Queue.
|
* FIFO queue.
|
||||||
*
|
*
|
||||||
* Params:
|
* Params:
|
||||||
* T = Content type.
|
* T = Content type.
|
||||||
*/
|
*/
|
||||||
class Queue(T)
|
struct Queue(T)
|
||||||
{
|
{
|
||||||
@nogc:
|
|
||||||
/**
|
|
||||||
* Creates a new $(D_PSYMBOL Queue).
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* allocator = The allocator should be used for the element
|
|
||||||
* allocations.
|
|
||||||
*/
|
|
||||||
this(Allocator allocator = defaultAllocator)
|
|
||||||
{
|
|
||||||
this.allocator = allocator;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Removes all elements from the queue.
|
* Removes all elements from the queue.
|
||||||
*/
|
*/
|
||||||
~this()
|
~this()
|
||||||
{
|
{
|
||||||
foreach (e; this)
|
while (!empty)
|
||||||
{
|
{
|
||||||
static if (isFinalizable!T)
|
dequeue();
|
||||||
{
|
|
||||||
finalize(allocator, e);
|
|
||||||
}
|
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Returns: First element.
|
* Returns how many elements are in the queue. It iterates through the queue
|
||||||
|
* to count the elements.
|
||||||
|
*
|
||||||
|
* Returns: How many elements are in the queue.
|
||||||
*/
|
*/
|
||||||
@property ref T front()
|
size_t length() const
|
||||||
in
|
|
||||||
{
|
{
|
||||||
assert(!empty);
|
size_t len;
|
||||||
|
for (const(SEntry!T)* i = first; i !is null; i = i.next)
|
||||||
|
{
|
||||||
|
++len;
|
||||||
}
|
}
|
||||||
body
|
return len;
|
||||||
{
|
|
||||||
return first.next.content;
|
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
///
|
||||||
* Inserts a new element.
|
unittest
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* x = New element.
|
|
||||||
*
|
|
||||||
* Returns: $(D_KEYWORD this).
|
|
||||||
*/
|
|
||||||
typeof(this) insertBack(T x)
|
|
||||||
{
|
{
|
||||||
Entry* temp = make!Entry(allocator);
|
Queue!int q;
|
||||||
|
|
||||||
temp.content = x;
|
assert(q.length == 0);
|
||||||
|
q.enqueue(5);
|
||||||
|
assert(q.length == 1);
|
||||||
|
q.enqueue(4);
|
||||||
|
assert(q.length == 2);
|
||||||
|
q.enqueue(9);
|
||||||
|
assert(q.length == 3);
|
||||||
|
|
||||||
|
q.dequeue();
|
||||||
|
assert(q.length == 2);
|
||||||
|
q.dequeue();
|
||||||
|
assert(q.length == 1);
|
||||||
|
q.dequeue();
|
||||||
|
assert(q.length == 0);
|
||||||
|
}
|
||||||
|
|
||||||
|
private void enqueueEntry(ref SEntry!T* entry)
|
||||||
|
{
|
||||||
if (empty)
|
if (empty)
|
||||||
{
|
{
|
||||||
first.next = rear = temp;
|
first = rear = entry;
|
||||||
}
|
}
|
||||||
else
|
else
|
||||||
{
|
{
|
||||||
rear.next = temp;
|
rear.next = entry;
|
||||||
rear = rear.next;
|
rear = rear.next;
|
||||||
}
|
}
|
||||||
|
|
||||||
return this;
|
|
||||||
}
|
}
|
||||||
|
|
||||||
alias insert = insertBack;
|
private SEntry!T* allocateEntry()
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
{
|
||||||
auto q = make!(Queue!int)(defaultAllocator);
|
auto temp = cast(SEntry!T*) allocator.allocate(SEntry!T.sizeof);
|
||||||
int[2] values = [8, 9];
|
if (temp is null)
|
||||||
|
{
|
||||||
q.insertBack(values[0]);
|
onOutOfMemoryError();
|
||||||
assert(q.front is values[0]);
|
}
|
||||||
q.insertBack(values[1]);
|
return temp;
|
||||||
assert(q.front is values[0]);
|
|
||||||
|
|
||||||
finalize(defaultAllocator, q);
|
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
@ -108,112 +102,187 @@ class Queue(T)
|
|||||||
*
|
*
|
||||||
* Params:
|
* Params:
|
||||||
* x = New element.
|
* x = New element.
|
||||||
*
|
|
||||||
* Returns: $(D_KEYWORD this).
|
|
||||||
*/
|
*/
|
||||||
typeof(this) opOpAssign(string Op)(ref T x)
|
void enqueue(ref T x)
|
||||||
if (Op == "~")
|
|
||||||
{
|
{
|
||||||
return insertBack(x);
|
auto temp = allocateEntry();
|
||||||
|
|
||||||
|
*temp = SEntry!T.init;
|
||||||
|
temp.content = x;
|
||||||
|
|
||||||
|
enqueueEntry(temp);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
void enqueue(T x)
|
||||||
|
{
|
||||||
|
auto temp = allocateEntry();
|
||||||
|
|
||||||
|
moveEmplace(x, (*temp).content);
|
||||||
|
(*temp).next = null;
|
||||||
|
|
||||||
|
enqueueEntry(temp);
|
||||||
}
|
}
|
||||||
|
|
||||||
///
|
///
|
||||||
unittest
|
unittest
|
||||||
{
|
{
|
||||||
auto q = make!(Queue!int)(defaultAllocator);
|
Queue!int q;
|
||||||
int value = 5;
|
|
||||||
|
|
||||||
assert(q.empty);
|
assert(q.empty);
|
||||||
|
q.enqueue(8);
|
||||||
q ~= value;
|
q.enqueue(9);
|
||||||
|
assert(q.dequeue() == 8);
|
||||||
assert(q.front == value);
|
assert(q.dequeue() == 9);
|
||||||
assert(!q.empty);
|
|
||||||
|
|
||||||
finalize(defaultAllocator, q);
|
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Returns: $(D_KEYWORD true) if the queue is empty.
|
* Returns: $(D_KEYWORD true) if the queue is empty.
|
||||||
*/
|
*/
|
||||||
@property bool empty() const @safe pure nothrow
|
@property bool empty() const
|
||||||
{
|
{
|
||||||
return first.next is null;
|
return first is null;
|
||||||
}
|
}
|
||||||
|
|
||||||
///
|
///
|
||||||
unittest
|
unittest
|
||||||
{
|
{
|
||||||
auto q = make!(Queue!int)(defaultAllocator);
|
Queue!int q;
|
||||||
int value = 7;
|
int value = 7;
|
||||||
|
|
||||||
assert(q.empty);
|
assert(q.empty);
|
||||||
q.insertBack(value);
|
q.enqueue(value);
|
||||||
assert(!q.empty);
|
assert(!q.empty);
|
||||||
|
|
||||||
finalize(defaultAllocator, q);
|
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Move position to the next element.
|
* Move the position to the next element.
|
||||||
*
|
*
|
||||||
* Returns: $(D_KEYWORD this).
|
* Returns: Dequeued element.
|
||||||
*/
|
*/
|
||||||
typeof(this) popFront()
|
T dequeue()
|
||||||
in
|
in
|
||||||
{
|
{
|
||||||
assert(!empty);
|
assert(!empty);
|
||||||
}
|
}
|
||||||
body
|
body
|
||||||
{
|
{
|
||||||
auto n = first.next.next;
|
auto n = first.next;
|
||||||
|
T ret = move(first.content);
|
||||||
|
|
||||||
finalize(allocator, first.next);
|
allocator.dispose(first);
|
||||||
first.next = n;
|
first = n;
|
||||||
|
return ret;
|
||||||
return this;
|
|
||||||
}
|
}
|
||||||
|
|
||||||
///
|
///
|
||||||
unittest
|
unittest
|
||||||
{
|
{
|
||||||
auto q = make!(Queue!int)(defaultAllocator);
|
Queue!int q;
|
||||||
int[2] values = [8, 9];
|
|
||||||
|
|
||||||
q.insertBack(values[0]);
|
q.enqueue(8);
|
||||||
q.insertBack(values[1]);
|
q.enqueue(9);
|
||||||
assert(q.front is values[0]);
|
assert(q.dequeue() == 8);
|
||||||
q.popFront();
|
assert(q.dequeue() == 9);
|
||||||
assert(q.front is values[1]);
|
|
||||||
|
|
||||||
finalize(defaultAllocator, q);
|
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Queue entry.
|
* $(D_KEYWORD foreach) iteration. The elements will be automatically
|
||||||
|
* dequeued.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* dg = $(D_KEYWORD foreach) body.
|
||||||
|
*
|
||||||
|
* Returns: The value returned from $(D_PARAM dg).
|
||||||
*/
|
*/
|
||||||
protected struct Entry
|
int opApply(scope int delegate(ref size_t i, ref T) @nogc dg)
|
||||||
{
|
{
|
||||||
/// Queue item content.
|
int result;
|
||||||
T content;
|
|
||||||
|
|
||||||
/// Next list item.
|
for (size_t i = 0; !empty; ++i)
|
||||||
Entry* next;
|
{
|
||||||
|
auto e = dequeue();
|
||||||
|
if ((result = dg(i, e)) != 0)
|
||||||
|
{
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return result;
|
||||||
}
|
}
|
||||||
|
|
||||||
/// The first element of the list.
|
/// Ditto.
|
||||||
protected Entry first;
|
int opApply(scope int delegate(ref T) @nogc dg)
|
||||||
|
{
|
||||||
|
int result;
|
||||||
|
|
||||||
/// The last element of the list.
|
while (!empty)
|
||||||
protected Entry* rear;
|
{
|
||||||
|
auto e = dequeue();
|
||||||
|
if ((result = dg(e)) != 0)
|
||||||
|
{
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
private Allocator allocator;
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
Queue!int q;
|
||||||
|
|
||||||
|
size_t j;
|
||||||
|
q.enqueue(5);
|
||||||
|
q.enqueue(4);
|
||||||
|
q.enqueue(9);
|
||||||
|
foreach (i, e; q)
|
||||||
|
{
|
||||||
|
assert(i != 2 || e == 9);
|
||||||
|
assert(i != 1 || e == 4);
|
||||||
|
assert(i != 0 || e == 5);
|
||||||
|
++j;
|
||||||
|
}
|
||||||
|
assert(j == 3);
|
||||||
|
assert(q.empty);
|
||||||
|
|
||||||
|
j = 0;
|
||||||
|
q.enqueue(5);
|
||||||
|
q.enqueue(4);
|
||||||
|
q.enqueue(9);
|
||||||
|
foreach (e; q)
|
||||||
|
{
|
||||||
|
assert(j != 2 || e == 9);
|
||||||
|
assert(j != 1 || e == 4);
|
||||||
|
assert(j != 0 || e == 5);
|
||||||
|
++j;
|
||||||
|
}
|
||||||
|
assert(j == 3);
|
||||||
|
assert(q.empty);
|
||||||
|
}
|
||||||
|
|
||||||
|
private SEntry!T* first;
|
||||||
|
private SEntry!T* rear;
|
||||||
|
|
||||||
|
mixin DefaultAllocator;
|
||||||
}
|
}
|
||||||
|
|
||||||
///
|
///
|
||||||
unittest
|
unittest
|
||||||
{
|
{
|
||||||
auto q = make!(Queue!int)(defaultAllocator);
|
Queue!int q;
|
||||||
|
|
||||||
finalize(defaultAllocator, q);
|
q.enqueue(5);
|
||||||
|
assert(!q.empty);
|
||||||
|
|
||||||
|
q.enqueue(4);
|
||||||
|
q.enqueue(9);
|
||||||
|
|
||||||
|
assert(q.dequeue() == 5);
|
||||||
|
|
||||||
|
foreach (i, ref e; q)
|
||||||
|
{
|
||||||
|
assert(i != 0 || e == 4);
|
||||||
|
assert(i != 1 || e == 9);
|
||||||
|
}
|
||||||
|
assert(q.empty);
|
||||||
}
|
}
|
||||||
|
710
source/tanya/container/set.d
Normal file
710
source/tanya/container/set.d
Normal file
@ -0,0 +1,710 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* This module implements a $(D_PSYMBOL Set) container that stores unique
|
||||||
|
* values without any particular order.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.container.set;
|
||||||
|
|
||||||
|
import std.algorithm.mutation;
|
||||||
|
import std.traits;
|
||||||
|
import tanya.container;
|
||||||
|
import tanya.container.entry;
|
||||||
|
import tanya.memory;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Bidirectional range that iterates over the $(D_PSYMBOL Set)'s values.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* E = Element type.
|
||||||
|
*/
|
||||||
|
struct Range(E)
|
||||||
|
{
|
||||||
|
static if (isMutable!E)
|
||||||
|
{
|
||||||
|
private alias DataRange = Array!(Bucket!(Unqual!E)).Range;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
private alias DataRange = Array!(Bucket!(Unqual!E)).ConstRange;
|
||||||
|
}
|
||||||
|
private DataRange dataRange;
|
||||||
|
|
||||||
|
@disable this();
|
||||||
|
|
||||||
|
private this(DataRange dataRange)
|
||||||
|
{
|
||||||
|
while (!dataRange.empty && dataRange.front.status != BucketStatus.used)
|
||||||
|
{
|
||||||
|
dataRange.popFront();
|
||||||
|
}
|
||||||
|
while (!dataRange.empty && dataRange.back.status != BucketStatus.used)
|
||||||
|
{
|
||||||
|
dataRange.popBack();
|
||||||
|
}
|
||||||
|
this.dataRange = dataRange;
|
||||||
|
}
|
||||||
|
|
||||||
|
@property Range save()
|
||||||
|
{
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
@property bool empty() const
|
||||||
|
{
|
||||||
|
return this.dataRange.empty();
|
||||||
|
}
|
||||||
|
|
||||||
|
@property void popFront()
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(!this.dataRange.empty);
|
||||||
|
assert(this.dataRange.front.status == BucketStatus.used);
|
||||||
|
}
|
||||||
|
out
|
||||||
|
{
|
||||||
|
assert(this.dataRange.empty
|
||||||
|
|| this.dataRange.back.status == BucketStatus.used);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
do
|
||||||
|
{
|
||||||
|
dataRange.popFront();
|
||||||
|
}
|
||||||
|
while (!dataRange.empty && dataRange.front.status != BucketStatus.used);
|
||||||
|
}
|
||||||
|
|
||||||
|
@property void popBack()
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(!this.dataRange.empty);
|
||||||
|
assert(this.dataRange.back.status == BucketStatus.used);
|
||||||
|
}
|
||||||
|
out
|
||||||
|
{
|
||||||
|
assert(this.dataRange.empty
|
||||||
|
|| this.dataRange.back.status == BucketStatus.used);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
do
|
||||||
|
{
|
||||||
|
dataRange.popBack();
|
||||||
|
}
|
||||||
|
while (!dataRange.empty && dataRange.back.status != BucketStatus.used);
|
||||||
|
}
|
||||||
|
|
||||||
|
@property ref inout(E) front() inout
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(!this.dataRange.empty);
|
||||||
|
assert(this.dataRange.front.status == BucketStatus.used);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
return dataRange.front.content;
|
||||||
|
}
|
||||||
|
|
||||||
|
@property ref inout(E) back() inout
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(!this.dataRange.empty);
|
||||||
|
assert(this.dataRange.back.status == BucketStatus.used);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
return dataRange.back.content;
|
||||||
|
}
|
||||||
|
|
||||||
|
Range opIndex()
|
||||||
|
{
|
||||||
|
return typeof(return)(this.dataRange[]);
|
||||||
|
}
|
||||||
|
|
||||||
|
Range!(const E) opIndex() const
|
||||||
|
{
|
||||||
|
return typeof(return)(this.dataRange[]);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Set is a data structure that stores unique values without any particular
|
||||||
|
* order.
|
||||||
|
*
|
||||||
|
* This $(D_PSYMBOL Set) is implemented using closed hashing. Hash collisions
|
||||||
|
* are resolved with linear probing.
|
||||||
|
*
|
||||||
|
* Currently works only with integral types.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Element type.
|
||||||
|
*/
|
||||||
|
struct Set(T)
|
||||||
|
if (isIntegral!T || is(Unqual!T == bool))
|
||||||
|
{
|
||||||
|
/// The range types for $(D_PSYMBOL Set).
|
||||||
|
alias Range = .Range!T;
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
alias ConstRange = .Range!(const T);
|
||||||
|
|
||||||
|
invariant
|
||||||
|
{
|
||||||
|
assert(this.lengthIndex < primes.length);
|
||||||
|
assert(this.data.length == 0
|
||||||
|
|| this.data.length == primes[this.lengthIndex]);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Constructor.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* n = Minimum number of buckets.
|
||||||
|
* allocator = Allocator.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE allocator !is null).
|
||||||
|
*/
|
||||||
|
this(const size_t n, shared Allocator allocator = defaultAllocator)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
this(allocator);
|
||||||
|
rehash(n);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
this(shared Allocator allocator)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
this.data = typeof(this.data)(allocator);
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
{
|
||||||
|
auto set = Set!int(defaultAllocator);
|
||||||
|
assert(set.capacity == 0);
|
||||||
|
}
|
||||||
|
{
|
||||||
|
auto set = Set!int(8);
|
||||||
|
assert(set.capacity == 13);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Initializes this $(D_PARAM Set) from another one.
|
||||||
|
*
|
||||||
|
* If $(D_PARAM init) is passed by reference, it will be copied.
|
||||||
|
* If $(D_PARAM init) is passed by value, it will be moved.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* S = Source set type.
|
||||||
|
* init = Source set.
|
||||||
|
* allocator = Allocator.
|
||||||
|
*/
|
||||||
|
this(S)(ref S init, shared Allocator allocator = defaultAllocator)
|
||||||
|
if (is(Unqual!S == Set))
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
this.data = typeof(this.data)(init.data, allocator);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
this(S)(S init, shared Allocator allocator = defaultAllocator)
|
||||||
|
if (is(S == Set))
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
this.data = typeof(this.data)(move(init.data), allocator);
|
||||||
|
this.lengthIndex = init.lengthIndex;
|
||||||
|
init.lengthIndex = 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Assigns another set.
|
||||||
|
*
|
||||||
|
* If $(D_PARAM that) is passed by reference, it will be copied.
|
||||||
|
* If $(D_PARAM that) is passed by value, it will be moved.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* S = Content type.
|
||||||
|
* that = The value should be assigned.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD this).
|
||||||
|
*/
|
||||||
|
ref typeof(this) opAssign(S)(ref S that)
|
||||||
|
if (is(Unqual!S == Set))
|
||||||
|
{
|
||||||
|
this.data = that.data;
|
||||||
|
this.lengthIndex = that.lengthIndex;
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
ref typeof(this) opAssign(S)(S that) @trusted
|
||||||
|
if (is(S == Set))
|
||||||
|
{
|
||||||
|
swap(this.data, that.data);
|
||||||
|
swap(this.lengthIndex, that.lengthIndex);
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Used allocator.
|
||||||
|
*
|
||||||
|
* Postcondition: $(D_INLINECODE allocator !is null)
|
||||||
|
*/
|
||||||
|
@property shared(Allocator) allocator() const
|
||||||
|
out (allocator)
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
return cast(shared Allocator) this.data.allocator;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Maximum amount of elements this $(D_PSYMBOL Set) can hold without
|
||||||
|
* resizing and rehashing. Note that it doesn't mean that the
|
||||||
|
* $(D_PSYMBOL Set) will hold $(I exactly) $(D_PSYMBOL capacity) elements.
|
||||||
|
* $(D_PSYMBOL capacity) tells the size of the container under a best-case
|
||||||
|
* distribution of elements.
|
||||||
|
*
|
||||||
|
* Returns: $(D_PSYMBOL Set) capacity.
|
||||||
|
*/
|
||||||
|
@property size_t capacity() const
|
||||||
|
{
|
||||||
|
return this.data.length;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
Set!int set;
|
||||||
|
assert(set.capacity == 0);
|
||||||
|
|
||||||
|
set.insert(8);
|
||||||
|
assert(set.capacity == 3);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Iterates over the $(D_PSYMBOL Set) and counts the elements.
|
||||||
|
*
|
||||||
|
* Returns: Count of elements within the $(D_PSYMBOL Set).
|
||||||
|
*/
|
||||||
|
@property size_t length() const
|
||||||
|
{
|
||||||
|
size_t count;
|
||||||
|
foreach (ref e; this.data[])
|
||||||
|
{
|
||||||
|
if (e.status == BucketStatus.used)
|
||||||
|
{
|
||||||
|
++count;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return count;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
Set!int set;
|
||||||
|
assert(set.length == 0);
|
||||||
|
|
||||||
|
set.insert(8);
|
||||||
|
assert(set.length == 1);
|
||||||
|
}
|
||||||
|
|
||||||
|
private static const size_t[41] primes = [
|
||||||
|
3, 7, 13, 23, 29, 37, 53, 71, 97, 131, 163, 193, 239, 293, 389, 521,
|
||||||
|
769, 919, 1103, 1327, 1543, 2333, 3079, 4861, 6151, 12289, 24593,
|
||||||
|
49157, 98317, 196613, 393241, 786433, 1572869, 3145739, 6291469,
|
||||||
|
12582917, 25165843, 139022417, 282312799, 573292817, 1164186217,
|
||||||
|
];
|
||||||
|
|
||||||
|
/// The maximum number of buckets the container can have.
|
||||||
|
enum size_t maxBucketCount = primes[$ - 1];
|
||||||
|
|
||||||
|
static private size_t calculateHash(ref T value)
|
||||||
|
{
|
||||||
|
static if (isIntegral!T || isSomeChar!T || is(T == bool))
|
||||||
|
{
|
||||||
|
return (cast(size_t) value);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
static assert(false);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
static private size_t locateBucket(ref const DataType buckets, size_t hash)
|
||||||
|
{
|
||||||
|
return hash % buckets.length;
|
||||||
|
}
|
||||||
|
|
||||||
|
private enum InsertStatus : byte
|
||||||
|
{
|
||||||
|
found = -1,
|
||||||
|
failed = 0,
|
||||||
|
added = 1,
|
||||||
|
}
|
||||||
|
|
||||||
|
/*
|
||||||
|
* Inserts the value in an empty or deleted bucket. If the value is
|
||||||
|
* already in there, does nothing and returns InsertStatus.found. If the
|
||||||
|
* hash array is full returns InsertStatus.failed.
|
||||||
|
*/
|
||||||
|
private InsertStatus insertInUnusedBucket(ref T value)
|
||||||
|
{
|
||||||
|
auto bucketPosition = locateBucket(this.data, calculateHash(value));
|
||||||
|
|
||||||
|
foreach (ref e; this.data[bucketPosition .. $])
|
||||||
|
{
|
||||||
|
if (e == value) // Already in the set.
|
||||||
|
{
|
||||||
|
return InsertStatus.found;
|
||||||
|
}
|
||||||
|
else if (e.status != BucketStatus.used) // Insert the value.
|
||||||
|
{
|
||||||
|
e.content = value;
|
||||||
|
return InsertStatus.added;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return InsertStatus.failed;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Inserts a new element.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* value = Element value.
|
||||||
|
*
|
||||||
|
* Returns: Amount of new elements inserted.
|
||||||
|
*
|
||||||
|
* Throws: $(D_PSYMBOL HashContainerFullException) if the insertion failed.
|
||||||
|
*/
|
||||||
|
size_t insert(T value)
|
||||||
|
{
|
||||||
|
if (this.data.length == 0)
|
||||||
|
{
|
||||||
|
this.data = DataType(primes[0], allocator);
|
||||||
|
}
|
||||||
|
|
||||||
|
InsertStatus status = insertInUnusedBucket(value);
|
||||||
|
for (; !status; status = insertInUnusedBucket(value))
|
||||||
|
{
|
||||||
|
if ((this.primes.length - 1) == this.lengthIndex)
|
||||||
|
{
|
||||||
|
throw make!HashContainerFullException(defaultAllocator,
|
||||||
|
"Set is full");
|
||||||
|
}
|
||||||
|
rehashToSize(this.lengthIndex + 1);
|
||||||
|
}
|
||||||
|
return status == InsertStatus.added;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
Set!int set;
|
||||||
|
assert(8 !in set);
|
||||||
|
|
||||||
|
assert(set.insert(8) == 1);
|
||||||
|
assert(set.length == 1);
|
||||||
|
assert(8 in set);
|
||||||
|
|
||||||
|
assert(set.insert(8) == 0);
|
||||||
|
assert(set.length == 1);
|
||||||
|
assert(8 in set);
|
||||||
|
|
||||||
|
assert(set.remove(8));
|
||||||
|
assert(set.insert(8) == 1);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Removes an element.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* value = Element value.
|
||||||
|
*
|
||||||
|
* Returns: Number of elements removed, which is in the container with
|
||||||
|
* unique values `1` if an element existed, and `0` otherwise.
|
||||||
|
*/
|
||||||
|
size_t remove(T value)
|
||||||
|
{
|
||||||
|
if (this.data.length == 0)
|
||||||
|
{
|
||||||
|
return 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
auto bucketPosition = locateBucket(this.data, calculateHash(value));
|
||||||
|
foreach (ref e; this.data[bucketPosition .. $])
|
||||||
|
{
|
||||||
|
if (e == value) // Found.
|
||||||
|
{
|
||||||
|
e.remove();
|
||||||
|
return 1;
|
||||||
|
}
|
||||||
|
else if (e.status == BucketStatus.empty)
|
||||||
|
{
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
Set!int set;
|
||||||
|
assert(8 !in set);
|
||||||
|
|
||||||
|
set.insert(8);
|
||||||
|
assert(8 in set);
|
||||||
|
|
||||||
|
assert(set.remove(8) == 1);
|
||||||
|
assert(set.remove(8) == 0);
|
||||||
|
assert(8 !in set);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* $(D_KEYWORD in) operator.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* value = Element to be searched for.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD true) if the given element exists in the container,
|
||||||
|
* $(D_KEYWORD false) otherwise.
|
||||||
|
*/
|
||||||
|
bool opBinaryRight(string op : "in")(auto ref T value)
|
||||||
|
{
|
||||||
|
if (this.data.length == 0)
|
||||||
|
{
|
||||||
|
return 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
auto bucketPosition = locateBucket(this.data, calculateHash(value));
|
||||||
|
foreach (ref e; this.data[bucketPosition .. $])
|
||||||
|
{
|
||||||
|
if (e == value) // Found.
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
else if (e.status == BucketStatus.empty)
|
||||||
|
{
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
bool opBinaryRight(string op : "in")(auto ref const T value) const
|
||||||
|
{
|
||||||
|
if (this.data.length == 0)
|
||||||
|
{
|
||||||
|
return 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
auto bucketPosition = locateBucket(this.data, calculateHash(value));
|
||||||
|
foreach (ref e; this.data[bucketPosition .. $])
|
||||||
|
{
|
||||||
|
if (e.status == BucketStatus.used && e.content == value) // Found.
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
else if (e.status == BucketStatus.empty)
|
||||||
|
{
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
Set!int set;
|
||||||
|
|
||||||
|
assert(5 !in set);
|
||||||
|
set.insert(5);
|
||||||
|
assert(5 in set);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Sets the number of buckets in the container to at least $(D_PARAM n)
|
||||||
|
* and rearranges all the elements according to their hash values.
|
||||||
|
*
|
||||||
|
* If $(D_PARAM n) is greater than the current $(D_PSYMBOL capacity)
|
||||||
|
* and lower than or equal to $(D_PSYMBOL maxBucketCount), a rehash is
|
||||||
|
* forced.
|
||||||
|
*
|
||||||
|
* If $(D_PARAM n) is greater than $(D_PSYMBOL maxBucketCount),
|
||||||
|
* $(D_PSYMBOL maxBucketCount) is used instead as a new number of buckets.
|
||||||
|
*
|
||||||
|
* If $(D_PARAM n) is equal to the current $(D_PSYMBOL capacity), rehashing
|
||||||
|
* is forced without resizing the container.
|
||||||
|
*
|
||||||
|
* If $(D_PARAM n) is lower than the current $(D_PSYMBOL capacity), the
|
||||||
|
* function may have no effect.
|
||||||
|
*
|
||||||
|
* Rehashing is automatically performed whenever the container needs space
|
||||||
|
* to insert new elements.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* n = Minimum number of buckets.
|
||||||
|
*/
|
||||||
|
void rehash(const size_t n)
|
||||||
|
{
|
||||||
|
size_t lengthIndex;
|
||||||
|
for (; lengthIndex < primes.length; ++lengthIndex)
|
||||||
|
{
|
||||||
|
if (primes[lengthIndex] >= n)
|
||||||
|
{
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
rehashToSize(lengthIndex);
|
||||||
|
}
|
||||||
|
|
||||||
|
// Takes an index in the primes array.
|
||||||
|
private void rehashToSize(const size_t n)
|
||||||
|
{
|
||||||
|
auto storage = DataType(primes[n], allocator);
|
||||||
|
DataLoop: foreach (ref e1; this.data[])
|
||||||
|
{
|
||||||
|
if (e1.status == BucketStatus.used)
|
||||||
|
{
|
||||||
|
auto bucketPosition = locateBucket(storage,
|
||||||
|
calculateHash(e1.content));
|
||||||
|
|
||||||
|
foreach (ref e2; storage[bucketPosition .. $])
|
||||||
|
{
|
||||||
|
if (e2.status != BucketStatus.used) // Insert the value.
|
||||||
|
{
|
||||||
|
e2.content = e1.content;
|
||||||
|
continue DataLoop;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return; // Rehashing failed.
|
||||||
|
}
|
||||||
|
}
|
||||||
|
move(storage, this.data);
|
||||||
|
this.lengthIndex = n;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: A bidirectional range that iterates over the $(D_PSYMBOL Set)'s
|
||||||
|
* elements.
|
||||||
|
*/
|
||||||
|
Range opIndex()
|
||||||
|
{
|
||||||
|
return typeof(return)(this.data[]);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
ConstRange opIndex() const
|
||||||
|
{
|
||||||
|
return typeof(return)(this.data[]);
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
Set!int set;
|
||||||
|
assert(set[].empty);
|
||||||
|
|
||||||
|
set.insert(8);
|
||||||
|
assert(!set[].empty);
|
||||||
|
assert(set[].front == 8);
|
||||||
|
assert(set[].back == 8);
|
||||||
|
|
||||||
|
set.remove(8);
|
||||||
|
assert(set[].empty);
|
||||||
|
}
|
||||||
|
|
||||||
|
private alias DataType = Array!(Bucket!T);
|
||||||
|
private DataType data;
|
||||||
|
private size_t lengthIndex;
|
||||||
|
}
|
||||||
|
|
||||||
|
// Basic insertion logic.
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
Set!int set;
|
||||||
|
|
||||||
|
assert(set.insert(5) == 1);
|
||||||
|
assert(set.data[0].status == BucketStatus.empty);
|
||||||
|
assert(set.data[1].status == BucketStatus.empty);
|
||||||
|
assert(set.data[2].content == 5 && set.data[2].status == BucketStatus.used);
|
||||||
|
assert(set.data.length == 3);
|
||||||
|
|
||||||
|
assert(set.insert(5) == 0);
|
||||||
|
assert(set.data[0].status == BucketStatus.empty);
|
||||||
|
assert(set.data[1].status == BucketStatus.empty);
|
||||||
|
assert(set.data[2].content == 5 && set.data[2].status == BucketStatus.used);
|
||||||
|
assert(set.data.length == 3);
|
||||||
|
|
||||||
|
assert(set.insert(9) == 1);
|
||||||
|
assert(set.data[0].content == 9 && set.data[0].status == BucketStatus.used);
|
||||||
|
assert(set.data[1].status == BucketStatus.empty);
|
||||||
|
assert(set.data[2].content == 5 && set.data[2].status == BucketStatus.used);
|
||||||
|
assert(set.data.length == 3);
|
||||||
|
|
||||||
|
assert(set.insert(7) == 1);
|
||||||
|
assert(set.insert(8) == 1);
|
||||||
|
assert(set.data[0].content == 7);
|
||||||
|
assert(set.data[1].content == 8);
|
||||||
|
assert(set.data[2].content == 9);
|
||||||
|
assert(set.data[3].status == BucketStatus.empty);
|
||||||
|
assert(set.data[5].content == 5);
|
||||||
|
assert(set.data.length == 7);
|
||||||
|
|
||||||
|
assert(set.insert(16) == 1);
|
||||||
|
assert(set.data[2].content == 9);
|
||||||
|
assert(set.data[3].content == 16);
|
||||||
|
assert(set.data[4].status == BucketStatus.empty);
|
||||||
|
}
|
||||||
|
|
||||||
|
// Static checks.
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
import std.range.primitives;
|
||||||
|
|
||||||
|
static assert(isBidirectionalRange!(Set!int.ConstRange));
|
||||||
|
static assert(isBidirectionalRange!(Set!int.Range));
|
||||||
|
|
||||||
|
static assert(!isInfinite!(Set!int.Range));
|
||||||
|
static assert(!hasLength!(Set!int.Range));
|
||||||
|
|
||||||
|
static assert(is(Set!uint));
|
||||||
|
static assert(is(Set!long));
|
||||||
|
static assert(is(Set!ulong));
|
||||||
|
static assert(is(Set!short));
|
||||||
|
static assert(is(Set!ushort));
|
||||||
|
static assert(is(Set!bool));
|
||||||
|
}
|
1613
source/tanya/container/string.d
Normal file
1613
source/tanya/container/string.d
Normal file
File diff suppressed because it is too large
Load Diff
@ -1,420 +0,0 @@
|
|||||||
/* This Source Code Form is subject to the terms of the Mozilla Public
|
|
||||||
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
|
||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Copyright: Eugene Wissner 2016.
|
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
|
||||||
* Mozilla Public License, v. 2.0).
|
|
||||||
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
|
||||||
*/
|
|
||||||
module tanya.container.vector;
|
|
||||||
|
|
||||||
import tanya.memory;
|
|
||||||
|
|
||||||
@nogc:
|
|
||||||
|
|
||||||
/**
|
|
||||||
* One dimensional array. It allocates automatically if needed.
|
|
||||||
*
|
|
||||||
* If you assign a value:
|
|
||||||
* ---
|
|
||||||
* auto v = make!(Vector!int)(defaultAllocator);
|
|
||||||
* int value = 5;
|
|
||||||
*
|
|
||||||
* v[1000] = value;
|
|
||||||
*
|
|
||||||
* finalize(defaultAllocator, v);
|
|
||||||
* ---
|
|
||||||
* it will allocate not only for one, but for 1000 elements. So this
|
|
||||||
* implementation is more suitable for sequential data with random access.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* T = Content type.
|
|
||||||
*/
|
|
||||||
class Vector(T)
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/**
|
|
||||||
* Creates a new $(D_PSYMBOL Vector).
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* length = Initial length.
|
|
||||||
* allocator = The allocator should be used for the element
|
|
||||||
* allocations.
|
|
||||||
*/
|
|
||||||
this(size_t length, Allocator allocator = defaultAllocator)
|
|
||||||
{
|
|
||||||
this.allocator = allocator;
|
|
||||||
vector = makeArray!T(allocator, length);
|
|
||||||
}
|
|
||||||
|
|
||||||
/// Ditto.
|
|
||||||
this(Allocator allocator = defaultAllocator)
|
|
||||||
{
|
|
||||||
this(0, allocator);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Removes all elements from the vector.
|
|
||||||
*/
|
|
||||||
~this()
|
|
||||||
{
|
|
||||||
finalize(allocator, vector);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Vector length.
|
|
||||||
*/
|
|
||||||
@property size_t length() const
|
|
||||||
{
|
|
||||||
return vector.length;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Expans/shrinks the vector.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* length = New length.
|
|
||||||
*/
|
|
||||||
@property void length(size_t length)
|
|
||||||
{
|
|
||||||
resizeArray!T(allocator, vector, length);
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
auto v = make!(Vector!int)(defaultAllocator);
|
|
||||||
|
|
||||||
v.length = 5;
|
|
||||||
assert(v.length == 5);
|
|
||||||
|
|
||||||
// TODO
|
|
||||||
v.length = 7;
|
|
||||||
assert(v.length == 7);
|
|
||||||
|
|
||||||
v.length = 0;
|
|
||||||
assert(v.length == 0);
|
|
||||||
|
|
||||||
finalize(defaultAllocator, v);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: $(D_KEYWORD true) if the vector is empty.
|
|
||||||
*/
|
|
||||||
@property bool empty() const
|
|
||||||
{
|
|
||||||
return length == 0;
|
|
||||||
}
|
|
||||||
|
|
||||||
static if (isFinalizable!T)
|
|
||||||
{
|
|
||||||
/**
|
|
||||||
* Removes an elements from the vector.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* pos = Element index.
|
|
||||||
*/
|
|
||||||
void remove(size_t pos)
|
|
||||||
{
|
|
||||||
auto el = vector[pos];
|
|
||||||
finalize(allocator, el);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Assigns a value. Allocates if needed.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* value = Value.
|
|
||||||
*
|
|
||||||
* Returns: Assigned value.
|
|
||||||
*/
|
|
||||||
T opIndexAssign(T value, size_t pos)
|
|
||||||
{
|
|
||||||
if (pos >= length)
|
|
||||||
{
|
|
||||||
resizeArray!T(allocator, vector, pos + 1);
|
|
||||||
}
|
|
||||||
return vector[pos] = value;
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
auto v = make!(Vector!int)(defaultAllocator);
|
|
||||||
int[2] values = [5, 15];
|
|
||||||
|
|
||||||
assert(v.length == 0);
|
|
||||||
v[1] = values[0];
|
|
||||||
assert(v.length == 2);
|
|
||||||
v[3] = values[0];
|
|
||||||
assert(v.length == 4);
|
|
||||||
v[4] = values[1];
|
|
||||||
assert(v.length == 5);
|
|
||||||
|
|
||||||
finalize(defaultAllocator, v);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: The value on index $(D_PARAM pos).
|
|
||||||
*/
|
|
||||||
ref T opIndex(in size_t pos)
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(length > pos);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
return vector[pos];
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
auto v = make!(Vector!int)(defaultAllocator);
|
|
||||||
int[2] values = [5, 15];
|
|
||||||
|
|
||||||
v[1] = values[0];
|
|
||||||
assert(v[1] is values[0]);
|
|
||||||
v[3] = values[0];
|
|
||||||
assert(v[3] is values[0]);
|
|
||||||
v[4] = values[1];
|
|
||||||
assert(v[4] is values[1]);
|
|
||||||
v[0] = values[1];
|
|
||||||
assert(v[0] is values[1]);
|
|
||||||
|
|
||||||
finalize(defaultAllocator, v);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* $(D_KEYWORD foreach) iteration.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* dg = $(D_KEYWORD foreach) body.
|
|
||||||
*/
|
|
||||||
int opApply(int delegate(ref T) @nogc dg)
|
|
||||||
{
|
|
||||||
int result;
|
|
||||||
|
|
||||||
foreach (e; vector)
|
|
||||||
{
|
|
||||||
result = dg(e);
|
|
||||||
|
|
||||||
if (result != 0)
|
|
||||||
{
|
|
||||||
return result;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
return result;
|
|
||||||
}
|
|
||||||
|
|
||||||
/// Ditto.
|
|
||||||
int opApply(int delegate(ref size_t i, ref T) @nogc dg)
|
|
||||||
{
|
|
||||||
int result;
|
|
||||||
|
|
||||||
foreach (i, e; vector)
|
|
||||||
{
|
|
||||||
result = dg(i, e);
|
|
||||||
|
|
||||||
if (result != 0)
|
|
||||||
{
|
|
||||||
return result;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
return result;
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
auto v = make!(Vector!int)(defaultAllocator, 1);
|
|
||||||
int[3] values = [5, 15, 8];
|
|
||||||
|
|
||||||
v[0] = values[0];
|
|
||||||
v[1] = values[1];
|
|
||||||
v[2] = values[2];
|
|
||||||
|
|
||||||
int i;
|
|
||||||
foreach (e; v)
|
|
||||||
{
|
|
||||||
assert(i != 0 || e is values[0]);
|
|
||||||
assert(i != 1 || e is values[1]);
|
|
||||||
assert(i != 2 || e is values[2]);
|
|
||||||
++i;
|
|
||||||
}
|
|
||||||
|
|
||||||
foreach (j, e; v)
|
|
||||||
{
|
|
||||||
assert(j != 0 || e is values[0]);
|
|
||||||
assert(j != 1 || e is values[1]);
|
|
||||||
assert(j != 2 || e is values[2]);
|
|
||||||
}
|
|
||||||
|
|
||||||
finalize(defaultAllocator, v);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Sets the first element. Allocates if the vector is empty.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* x = New element.
|
|
||||||
*/
|
|
||||||
@property void front(ref T x)
|
|
||||||
{
|
|
||||||
this[0] = x;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: The first element.
|
|
||||||
*/
|
|
||||||
@property ref inout(T) front() inout
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(!empty);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
return vector[0];
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
auto v = make!(Vector!int)(defaultAllocator, 1);
|
|
||||||
int[2] values = [5, 15];
|
|
||||||
|
|
||||||
v.front = values[0];
|
|
||||||
assert(v.front == 5);
|
|
||||||
|
|
||||||
v.front = values[1];
|
|
||||||
assert(v.front == 15);
|
|
||||||
|
|
||||||
finalize(defaultAllocator, v);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Move position to the next element.
|
|
||||||
*
|
|
||||||
* Returns: $(D_KEYWORD this).
|
|
||||||
*/
|
|
||||||
typeof(this) popFront()
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(!empty);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
vector[0 .. $ - 1] = vector[1..$];
|
|
||||||
resizeArray(allocator, vector, length - 1);
|
|
||||||
return this;
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
auto v = make!(Vector!int)(defaultAllocator, 1);
|
|
||||||
int[2] values = [5, 15];
|
|
||||||
|
|
||||||
v[0] = values[0];
|
|
||||||
v[1] = values[1];
|
|
||||||
assert(v.front is values[0]);
|
|
||||||
assert(v.length == 2);
|
|
||||||
v.popFront();
|
|
||||||
assert(v.front is values[1]);
|
|
||||||
assert(v.length == 1);
|
|
||||||
v.popFront();
|
|
||||||
assert(v.empty);
|
|
||||||
|
|
||||||
finalize(defaultAllocator, v);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Sets the last element. Allocates if the vector is empty.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* x = New element.
|
|
||||||
*/
|
|
||||||
@property void back(ref T x)
|
|
||||||
{
|
|
||||||
vector[empty ? 0 : $ - 1] = x;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: The last element.
|
|
||||||
*/
|
|
||||||
@property ref inout(T) back() inout
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(!empty);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
return vector[$ - 1];
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
auto v = make!(Vector!int)(defaultAllocator, 1);
|
|
||||||
int[2] values = [5, 15];
|
|
||||||
|
|
||||||
v.back = values[0];
|
|
||||||
assert(v.back == 5);
|
|
||||||
|
|
||||||
v.back = values[1];
|
|
||||||
assert(v.back == 15);
|
|
||||||
|
|
||||||
finalize(defaultAllocator, v);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Move position to the previous element.
|
|
||||||
*
|
|
||||||
* Returns: $(D_KEYWORD this).
|
|
||||||
*/
|
|
||||||
typeof(this) popBack()
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(!empty);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
resizeArray(allocator, vector, length - 1);
|
|
||||||
return this;
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
auto v = make!(Vector!int)(defaultAllocator, 1);
|
|
||||||
int[2] values = [5, 15];
|
|
||||||
|
|
||||||
v[0] = values[0];
|
|
||||||
v[1] = values[1];
|
|
||||||
assert(v.back is values[1]);
|
|
||||||
assert(v.length == 2);
|
|
||||||
v.popBack();
|
|
||||||
assert(v.back is values[0]);
|
|
||||||
assert(v.length == 1);
|
|
||||||
v.popBack();
|
|
||||||
assert(v.empty);
|
|
||||||
|
|
||||||
finalize(defaultAllocator, v);
|
|
||||||
}
|
|
||||||
|
|
||||||
/// Container.
|
|
||||||
protected T[] vector;
|
|
||||||
|
|
||||||
private Allocator allocator;
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
auto v = make!(Vector!int)(defaultAllocator);
|
|
||||||
|
|
||||||
finalize(defaultAllocator, v);
|
|
||||||
}
|
|
@ -1,191 +0,0 @@
|
|||||||
/* This Source Code Form is subject to the terms of the Mozilla Public
|
|
||||||
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
|
||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Copyright: Eugene Wissner 2016.
|
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
|
||||||
* Mozilla Public License, v. 2.0).
|
|
||||||
* Authors: $(LINK2 mailto:belka@caraus.de, Eugene Wissner)
|
|
||||||
*/
|
|
||||||
module tanya.crypto.padding;
|
|
||||||
|
|
||||||
import tanya.memory;
|
|
||||||
import std.algorithm.iteration;
|
|
||||||
import std.typecons;
|
|
||||||
|
|
||||||
@nogc:
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Supported padding mode.
|
|
||||||
*
|
|
||||||
* See_Also:
|
|
||||||
* $(D_PSYMBOL applyPadding)
|
|
||||||
*/
|
|
||||||
enum Mode
|
|
||||||
{
|
|
||||||
zero,
|
|
||||||
pkcs7,
|
|
||||||
ansiX923,
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* allocator = Allocator that should be used if the block should be extended
|
|
||||||
* or a new block should be added.
|
|
||||||
* input = Sequence that should be padded.
|
|
||||||
* mode = Padding mode.
|
|
||||||
* blockSize = Block size.
|
|
||||||
*
|
|
||||||
* Returns: The functions modifies the initial array and returns it.
|
|
||||||
*
|
|
||||||
* See_Also:
|
|
||||||
* $(D_PSYMBOL Mode)
|
|
||||||
*/
|
|
||||||
ubyte[] applyPadding(ref ubyte[] input,
|
|
||||||
in Mode mode,
|
|
||||||
in ushort blockSize,
|
|
||||||
Allocator allocator = defaultAllocator)
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(blockSize > 0 && blockSize <= 256);
|
|
||||||
assert(blockSize % 64 == 0);
|
|
||||||
assert(input.length > 0);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
immutable rest = cast(ubyte) input.length % blockSize;
|
|
||||||
immutable size_t lastBlock = input.length - (rest > 0 ? rest : blockSize);
|
|
||||||
immutable needed = cast(ubyte) (rest > 0 ? blockSize - rest : 0);
|
|
||||||
|
|
||||||
final switch (mode) with (Mode)
|
|
||||||
{
|
|
||||||
case zero:
|
|
||||||
allocator.expandArray(input, needed);
|
|
||||||
break;
|
|
||||||
case pkcs7:
|
|
||||||
if (needed)
|
|
||||||
{
|
|
||||||
allocator.expandArray(input, needed);
|
|
||||||
input[input.length - needed ..$].each!((ref e) => e = needed);
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
allocator.expandArray(input, blockSize);
|
|
||||||
}
|
|
||||||
break;
|
|
||||||
case ansiX923:
|
|
||||||
allocator.expandArray(input, needed ? needed : blockSize);
|
|
||||||
input[$ - 1] = needed;
|
|
||||||
break;
|
|
||||||
}
|
|
||||||
|
|
||||||
return input;
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
{ // Zeros
|
|
||||||
auto input = defaultAllocator.makeArray!ubyte(50);
|
|
||||||
|
|
||||||
applyPadding(input, Mode.zero, 64);
|
|
||||||
assert(input.length == 64);
|
|
||||||
|
|
||||||
applyPadding(input, Mode.zero, 64);
|
|
||||||
assert(input.length == 64);
|
|
||||||
assert(input[63] == 0);
|
|
||||||
|
|
||||||
defaultAllocator.finalize(input);
|
|
||||||
}
|
|
||||||
{ // PKCS#7
|
|
||||||
auto input = defaultAllocator.makeArray!ubyte(50);
|
|
||||||
for (ubyte i; i < 40; ++i)
|
|
||||||
{
|
|
||||||
input[i] = i;
|
|
||||||
}
|
|
||||||
|
|
||||||
applyPadding(input, Mode.pkcs7, 64);
|
|
||||||
assert(input.length == 64);
|
|
||||||
for (ubyte i; i < 64; ++i)
|
|
||||||
{
|
|
||||||
if (i >= 40 && i < 50)
|
|
||||||
{
|
|
||||||
assert(input[i] == 0);
|
|
||||||
}
|
|
||||||
else if (i >= 50)
|
|
||||||
{
|
|
||||||
assert(input[i] == 14);
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
assert(input[i] == i);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
applyPadding(input, Mode.pkcs7, 64);
|
|
||||||
assert(input.length == 128);
|
|
||||||
for (ubyte i; i < 128; ++i)
|
|
||||||
{
|
|
||||||
if (i >= 64 || (i >= 40 && i < 50))
|
|
||||||
{
|
|
||||||
assert(input[i] == 0);
|
|
||||||
}
|
|
||||||
else if (i >= 50 && i < 64)
|
|
||||||
{
|
|
||||||
assert(input[i] == 14);
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
assert(input[i] == i);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
defaultAllocator.finalize(input);
|
|
||||||
}
|
|
||||||
{ // ANSI X.923
|
|
||||||
auto input = defaultAllocator.makeArray!ubyte(50);
|
|
||||||
for (ubyte i; i < 40; ++i)
|
|
||||||
{
|
|
||||||
input[i] = i;
|
|
||||||
}
|
|
||||||
|
|
||||||
applyPadding(input, Mode.ansiX923, 64);
|
|
||||||
assert(input.length == 64);
|
|
||||||
for (ubyte i; i < 64; ++i)
|
|
||||||
{
|
|
||||||
if (i < 40)
|
|
||||||
{
|
|
||||||
assert(input[i] == i);
|
|
||||||
}
|
|
||||||
else if (i == 63)
|
|
||||||
{
|
|
||||||
assert(input[i] == 14);
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
assert(input[i] == 0);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
applyPadding(input, Mode.pkcs7, 64);
|
|
||||||
assert(input.length == 128);
|
|
||||||
for (ubyte i = 0; i < 128; ++i)
|
|
||||||
{
|
|
||||||
if (i < 40)
|
|
||||||
{
|
|
||||||
assert(input[i] == i);
|
|
||||||
}
|
|
||||||
else if (i == 63)
|
|
||||||
{
|
|
||||||
assert(input[i] == 14);
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
assert(input[i] == 0);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
defaultAllocator.finalize(input);
|
|
||||||
}
|
|
||||||
}
|
|
@ -1,226 +0,0 @@
|
|||||||
/* This Source Code Form is subject to the terms of the Mozilla Public
|
|
||||||
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
|
||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Copyright: Eugene Wissner 2016.
|
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
|
||||||
* Mozilla Public License, v. 2.0).
|
|
||||||
* Authors: $(LINK2 mailto:belka@caraus.de, Eugene Wissner)
|
|
||||||
*/
|
|
||||||
module tanya.event.internal.epoll;
|
|
||||||
|
|
||||||
import tanya.event.config;
|
|
||||||
|
|
||||||
static if (UseEpoll):
|
|
||||||
|
|
||||||
public import core.sys.linux.epoll;
|
|
||||||
import tanya.event.internal.selector;
|
|
||||||
import tanya.event.protocol;
|
|
||||||
import tanya.event.transport;
|
|
||||||
import tanya.event.watcher;
|
|
||||||
import tanya.event.loop;
|
|
||||||
import tanya.container.list;
|
|
||||||
import tanya.memory;
|
|
||||||
import core.stdc.errno;
|
|
||||||
import core.sys.posix.fcntl;
|
|
||||||
import core.sys.posix.netinet.in_;
|
|
||||||
import core.time;
|
|
||||||
import std.algorithm.comparison;
|
|
||||||
|
|
||||||
@nogc:
|
|
||||||
|
|
||||||
extern (C) nothrow
|
|
||||||
{ // TODO: Make a pull request for Phobos to mark this extern functions as @nogc.
|
|
||||||
int epoll_create1(int __flags);
|
|
||||||
int epoll_ctl(int __epfd, int __op, int __fd, epoll_event *__event);
|
|
||||||
int epoll_wait(int __epfd, epoll_event *__events, int __maxevents, int __timeout);
|
|
||||||
int accept4(int, sockaddr*, socklen_t*, int flags);
|
|
||||||
}
|
|
||||||
|
|
||||||
private enum maxEvents = 128;
|
|
||||||
|
|
||||||
class EpollLoop : Loop
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/**
|
|
||||||
* Initializes the loop.
|
|
||||||
*/
|
|
||||||
this()
|
|
||||||
{
|
|
||||||
super();
|
|
||||||
|
|
||||||
if ((fd = epoll_create1(EPOLL_CLOEXEC)) < 0)
|
|
||||||
{
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
epollEvents = makeArray!epoll_event(defaultAllocator, maxEvents).ptr;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Frees loop internals.
|
|
||||||
*/
|
|
||||||
~this()
|
|
||||||
{
|
|
||||||
finalize(defaultAllocator, epollEvents);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Should be called if the backend configuration changes.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* socket = Socket.
|
|
||||||
* oldEvents = The events were already set.
|
|
||||||
* events = The events should be set.
|
|
||||||
*
|
|
||||||
* Returns: $(D_KEYWORD true) if the operation was successful.
|
|
||||||
*/
|
|
||||||
protected override bool modify(int socket, EventMask oldEvents, EventMask events)
|
|
||||||
{
|
|
||||||
int op = EPOLL_CTL_DEL;
|
|
||||||
epoll_event ev;
|
|
||||||
|
|
||||||
if (events == oldEvents)
|
|
||||||
{
|
|
||||||
return true;
|
|
||||||
}
|
|
||||||
if (events && oldEvents)
|
|
||||||
{
|
|
||||||
op = EPOLL_CTL_MOD;
|
|
||||||
}
|
|
||||||
else if (events && !oldEvents)
|
|
||||||
{
|
|
||||||
op = EPOLL_CTL_ADD;
|
|
||||||
}
|
|
||||||
|
|
||||||
ev.data.fd = socket;
|
|
||||||
ev.events = (events & (Event.read | Event.accept) ? EPOLLIN | EPOLLPRI : 0)
|
|
||||||
| (events & Event.write ? EPOLLOUT : 0)
|
|
||||||
| EPOLLET;
|
|
||||||
|
|
||||||
return epoll_ctl(fd, op, socket, &ev) == 0;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Accept incoming connections.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* protocolFactory = Protocol factory.
|
|
||||||
* socket = Socket.
|
|
||||||
*/
|
|
||||||
protected override void acceptConnection(Protocol delegate() @nogc protocolFactory,
|
|
||||||
int socket)
|
|
||||||
{
|
|
||||||
sockaddr_in client_addr;
|
|
||||||
socklen_t client_len = client_addr.sizeof;
|
|
||||||
int client = accept4(socket,
|
|
||||||
cast(sockaddr *)&client_addr,
|
|
||||||
&client_len,
|
|
||||||
O_NONBLOCK);
|
|
||||||
while (client >= 0)
|
|
||||||
{
|
|
||||||
auto transport = make!SocketTransport(defaultAllocator, this, client);
|
|
||||||
IOWatcher connection;
|
|
||||||
|
|
||||||
if (connections.length > client)
|
|
||||||
{
|
|
||||||
connection = cast(IOWatcher) connections[client];
|
|
||||||
// If it is a ConnectionWatcher
|
|
||||||
if (connection is null && connections[client] !is null)
|
|
||||||
{
|
|
||||||
finalize(defaultAllocator, connections[client]);
|
|
||||||
connections[client] = null;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
if (connection !is null)
|
|
||||||
{
|
|
||||||
connection(protocolFactory, transport);
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
connections[client] = make!IOWatcher(defaultAllocator,
|
|
||||||
protocolFactory,
|
|
||||||
transport);
|
|
||||||
}
|
|
||||||
|
|
||||||
modify(client, EventMask(Event.none), EventMask(Event.read, Event.write));
|
|
||||||
|
|
||||||
swapPendings.insertBack(connections[client]);
|
|
||||||
|
|
||||||
client = accept4(socket,
|
|
||||||
cast(sockaddr *)&client_addr,
|
|
||||||
&client_len,
|
|
||||||
O_NONBLOCK);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Does the actual polling.
|
|
||||||
*/
|
|
||||||
protected override void poll()
|
|
||||||
{
|
|
||||||
// Don't block
|
|
||||||
immutable timeout = cast(immutable int) blockTime.total!"msecs";
|
|
||||||
auto eventCount = epoll_wait(fd, epollEvents, maxEvents, timeout);
|
|
||||||
|
|
||||||
if (eventCount < 0)
|
|
||||||
{
|
|
||||||
if (errno != EINTR)
|
|
||||||
{
|
|
||||||
throw make!BadLoopException(defaultAllocator);
|
|
||||||
}
|
|
||||||
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
|
|
||||||
for (auto i = 0; i < eventCount; ++i)
|
|
||||||
{
|
|
||||||
epoll_event *ev = epollEvents + i;
|
|
||||||
auto connection = cast(IOWatcher) connections[ev.data.fd];
|
|
||||||
|
|
||||||
if (connection is null)
|
|
||||||
{
|
|
||||||
swapPendings.insertBack(connections[ev.data.fd]);
|
|
||||||
// acceptConnection(connections[ev.data.fd].protocol,
|
|
||||||
// connections[ev.data.fd].socket);
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
auto transport = cast(SocketTransport) connection.transport;
|
|
||||||
assert(transport !is null);
|
|
||||||
|
|
||||||
if (ev.events & (EPOLLIN | EPOLLPRI | EPOLLERR | EPOLLHUP))
|
|
||||||
{
|
|
||||||
try
|
|
||||||
{
|
|
||||||
while (!transport.receive())
|
|
||||||
{
|
|
||||||
}
|
|
||||||
swapPendings.insertBack(connection);
|
|
||||||
}
|
|
||||||
catch (TransportException e)
|
|
||||||
{
|
|
||||||
swapPendings.insertBack(connection);
|
|
||||||
finalize(defaultAllocator, e);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
else if (ev.events & (EPOLLOUT | EPOLLERR | EPOLLHUP))
|
|
||||||
{
|
|
||||||
transport.writeReady = true;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: The blocking time.
|
|
||||||
*/
|
|
||||||
override protected @property inout(Duration) blockTime()
|
|
||||||
inout @safe pure nothrow
|
|
||||||
{
|
|
||||||
return min(super.blockTime, 1.dur!"seconds");
|
|
||||||
}
|
|
||||||
|
|
||||||
private int fd;
|
|
||||||
private epoll_event* epollEvents;
|
|
||||||
}
|
|
@ -1,217 +0,0 @@
|
|||||||
/* This Source Code Form is subject to the terms of the Mozilla Public
|
|
||||||
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
|
||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Copyright: Eugene Wissner 2016.
|
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
|
||||||
* Mozilla Public License, v. 2.0).
|
|
||||||
* Authors: $(LINK2 mailto:belka@caraus.de, Eugene Wissner)
|
|
||||||
*/
|
|
||||||
module tanya.event.internal.selector;
|
|
||||||
|
|
||||||
import tanya.memory;
|
|
||||||
import tanya.container.buffer;
|
|
||||||
import tanya.event.loop;
|
|
||||||
import tanya.event.protocol;
|
|
||||||
import tanya.event.transport;
|
|
||||||
import core.stdc.errno;
|
|
||||||
import core.sys.posix.netinet.in_;
|
|
||||||
import core.sys.posix.unistd;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Transport for stream sockets.
|
|
||||||
*/
|
|
||||||
class SocketTransport : DuplexTransport
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
private int socket_ = -1;
|
|
||||||
|
|
||||||
private Protocol protocol_;
|
|
||||||
|
|
||||||
/// Input buffer.
|
|
||||||
private WriteBuffer input_;
|
|
||||||
|
|
||||||
/// Output buffer.
|
|
||||||
private ReadBuffer output_;
|
|
||||||
|
|
||||||
private Loop loop;
|
|
||||||
|
|
||||||
private bool disconnected_;
|
|
||||||
|
|
||||||
package bool writeReady;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* loop = Event loop.
|
|
||||||
* socket = Socket.
|
|
||||||
* protocol = Protocol.
|
|
||||||
*/
|
|
||||||
this(Loop loop, int socket, Protocol protocol = null)
|
|
||||||
{
|
|
||||||
socket_ = socket;
|
|
||||||
protocol_ = protocol;
|
|
||||||
this.loop = loop;
|
|
||||||
input_ = make!WriteBuffer(defaultAllocator);
|
|
||||||
output_ = make!ReadBuffer(defaultAllocator);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Close the transport and deallocate the data buffers.
|
|
||||||
*/
|
|
||||||
~this()
|
|
||||||
{
|
|
||||||
close(socket);
|
|
||||||
finalize(defaultAllocator, input_);
|
|
||||||
finalize(defaultAllocator, output_);
|
|
||||||
finalize(defaultAllocator, protocol_);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Transport socket.
|
|
||||||
*/
|
|
||||||
int socket() const @safe pure nothrow
|
|
||||||
{
|
|
||||||
return socket_;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Protocol.
|
|
||||||
*/
|
|
||||||
@property Protocol protocol() @safe pure nothrow
|
|
||||||
{
|
|
||||||
return protocol_;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: $(D_KEYWORD true) if the remote peer closed the connection,
|
|
||||||
* $(D_KEYWORD false) otherwise.
|
|
||||||
*/
|
|
||||||
@property immutable(bool) disconnected() const @safe pure nothrow
|
|
||||||
{
|
|
||||||
return disconnected_;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* protocol = Application protocol.
|
|
||||||
*/
|
|
||||||
@property void protocol(Protocol protocol) @safe pure nothrow
|
|
||||||
{
|
|
||||||
protocol_ = protocol;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Application protocol.
|
|
||||||
*/
|
|
||||||
@property inout(Protocol) protocol() inout @safe pure nothrow
|
|
||||||
{
|
|
||||||
return protocol_;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Write some data to the transport.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* data = Data to send.
|
|
||||||
*/
|
|
||||||
void write(ubyte[] data)
|
|
||||||
{
|
|
||||||
// If the buffer wasn't empty the transport should be already there.
|
|
||||||
if (!input.length && data.length)
|
|
||||||
{
|
|
||||||
loop.feed(this);
|
|
||||||
}
|
|
||||||
input ~= data;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Input buffer.
|
|
||||||
*/
|
|
||||||
@property WriteBuffer input() @safe pure nothrow
|
|
||||||
{
|
|
||||||
return input_;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Output buffer.
|
|
||||||
*/
|
|
||||||
@property ReadBuffer output() @safe pure nothrow
|
|
||||||
{
|
|
||||||
return output_;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Read data from the socket. Returns $(D_KEYWORD true) if the reading
|
|
||||||
* is completed. In the case that the peer closed the connection, returns
|
|
||||||
* $(D_KEYWORD true) aswell.
|
|
||||||
*
|
|
||||||
* Returns: Whether the reading is completed.
|
|
||||||
*
|
|
||||||
* Throws: $(D_PSYMBOL TransportException) if a read error is occured.
|
|
||||||
*/
|
|
||||||
bool receive()
|
|
||||||
{
|
|
||||||
auto readCount = recv(socket, output.buffer, output.free, 0);
|
|
||||||
|
|
||||||
if (readCount > 0)
|
|
||||||
{
|
|
||||||
output_ ~= output.buffer[0..readCount];
|
|
||||||
return false;
|
|
||||||
}
|
|
||||||
else if (readCount == 0)
|
|
||||||
{
|
|
||||||
disconnected_ = true;
|
|
||||||
return true;
|
|
||||||
}
|
|
||||||
else if (errno == EAGAIN || errno == EWOULDBLOCK)
|
|
||||||
{
|
|
||||||
return true;
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
disconnected_ = true;
|
|
||||||
throw make!TransportException(defaultAllocator,
|
|
||||||
"Read from the socket failed.");
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Whether the writing is completed.
|
|
||||||
*
|
|
||||||
* Throws: $(D_PSYMBOL TransportException) if a read error is occured.
|
|
||||||
*/
|
|
||||||
bool send()
|
|
||||||
{
|
|
||||||
auto sentCount = core.sys.posix.netinet.in_.send(socket,
|
|
||||||
input.buffer,
|
|
||||||
input.length,
|
|
||||||
0);
|
|
||||||
|
|
||||||
input.written = sentCount;
|
|
||||||
if (input.length == 0)
|
|
||||||
{
|
|
||||||
return true;
|
|
||||||
}
|
|
||||||
else if (sentCount >= 0)
|
|
||||||
{
|
|
||||||
loop.feed(this);
|
|
||||||
|
|
||||||
return false;
|
|
||||||
}
|
|
||||||
else if (errno == EAGAIN || errno == EWOULDBLOCK)
|
|
||||||
{
|
|
||||||
writeReady = false;
|
|
||||||
loop.feed(this);
|
|
||||||
|
|
||||||
return false;
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
disconnected_ = true;
|
|
||||||
loop.feed(this);
|
|
||||||
throw make!TransportException(defaultAllocator,
|
|
||||||
"Write to the socket failed.");
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
@ -1,279 +0,0 @@
|
|||||||
/* This Source Code Form is subject to the terms of the Mozilla Public
|
|
||||||
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
|
||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Copyright: Eugene Wissner 2016.
|
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
|
||||||
* Mozilla Public License, v. 2.0).
|
|
||||||
* Authors: $(LINK2 mailto:belka@caraus.de, Eugene Wissner)
|
|
||||||
*/
|
|
||||||
module tanya.event.loop;
|
|
||||||
|
|
||||||
import tanya.memory;
|
|
||||||
import tanya.container.queue;
|
|
||||||
import tanya.container.vector;
|
|
||||||
import tanya.event.config;
|
|
||||||
import tanya.event.protocol;
|
|
||||||
import tanya.event.transport;
|
|
||||||
import tanya.event.watcher;
|
|
||||||
import tanya.container.buffer;
|
|
||||||
import core.thread;
|
|
||||||
import core.time;
|
|
||||||
import std.algorithm.iteration;
|
|
||||||
import std.algorithm.mutation;
|
|
||||||
import std.typecons;
|
|
||||||
|
|
||||||
static if (UseEpoll)
|
|
||||||
{
|
|
||||||
import tanya.event.internal.epoll;
|
|
||||||
}
|
|
||||||
|
|
||||||
@nogc:
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Events.
|
|
||||||
*/
|
|
||||||
enum Event : uint
|
|
||||||
{
|
|
||||||
none = 0x00, /// No events.
|
|
||||||
read = 0x01, /// Non-blocking read call.
|
|
||||||
write = 0x02, /// Non-blocking write call.
|
|
||||||
accept = 0x04, /// Connection made.
|
|
||||||
}
|
|
||||||
|
|
||||||
alias EventMask = BitFlags!Event;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Event loop.
|
|
||||||
*/
|
|
||||||
abstract class Loop
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/// Pending watchers.
|
|
||||||
protected Queue!Watcher pendings;
|
|
||||||
|
|
||||||
protected Queue!Watcher swapPendings;
|
|
||||||
|
|
||||||
/// Pending connections.
|
|
||||||
protected Vector!ConnectionWatcher connections;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Initializes the loop.
|
|
||||||
*/
|
|
||||||
this()
|
|
||||||
{
|
|
||||||
connections = make!(Vector!ConnectionWatcher)(defaultAllocator);
|
|
||||||
pendings = make!(Queue!Watcher)(defaultAllocator);
|
|
||||||
swapPendings = make!(Queue!Watcher)(defaultAllocator);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Frees loop internals.
|
|
||||||
*/
|
|
||||||
~this()
|
|
||||||
{
|
|
||||||
finalize(defaultAllocator, connections);
|
|
||||||
finalize(defaultAllocator, pendings);
|
|
||||||
finalize(defaultAllocator, swapPendings);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Starts the loop.
|
|
||||||
*/
|
|
||||||
void run()
|
|
||||||
{
|
|
||||||
done_ = false;
|
|
||||||
do
|
|
||||||
{
|
|
||||||
poll();
|
|
||||||
|
|
||||||
// Invoke pendings
|
|
||||||
swapPendings.each!((ref p) => p.invoke());
|
|
||||||
|
|
||||||
swap(pendings, swapPendings);
|
|
||||||
}
|
|
||||||
while (!done_);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Break out of the loop.
|
|
||||||
*/
|
|
||||||
void unloop() @safe pure nothrow
|
|
||||||
{
|
|
||||||
done_ = true;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Start watching.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* watcher = Watcher.
|
|
||||||
*/
|
|
||||||
void start(ConnectionWatcher watcher)
|
|
||||||
{
|
|
||||||
if (watcher.active)
|
|
||||||
{
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
watcher.active = true;
|
|
||||||
watcher.accept = &acceptConnection;
|
|
||||||
connections[watcher.socket] = watcher;
|
|
||||||
|
|
||||||
modify(watcher.socket, EventMask(Event.none), EventMask(Event.accept));
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Stop watching.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* watcher = Watcher.
|
|
||||||
*/
|
|
||||||
void stop(ConnectionWatcher watcher)
|
|
||||||
{
|
|
||||||
if (!watcher.active)
|
|
||||||
{
|
|
||||||
return;
|
|
||||||
}
|
|
||||||
watcher.active = false;
|
|
||||||
|
|
||||||
modify(watcher.socket, EventMask(Event.accept), EventMask(Event.none));
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Feeds the given event set into the event loop, as if the specified event
|
|
||||||
* had happened for the specified watcher.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* transport = Affected transport.
|
|
||||||
*/
|
|
||||||
void feed(DuplexTransport transport)
|
|
||||||
{
|
|
||||||
pendings.insertBack(connections[transport.socket]);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Should be called if the backend configuration changes.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* socket = Socket.
|
|
||||||
* oldEvents = The events were already set.
|
|
||||||
* events = The events should be set.
|
|
||||||
*
|
|
||||||
* Returns: $(D_KEYWORD true) if the operation was successful.
|
|
||||||
*/
|
|
||||||
protected bool modify(int socket, EventMask oldEvents, EventMask events);
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: The blocking time.
|
|
||||||
*/
|
|
||||||
protected @property inout(Duration) blockTime()
|
|
||||||
inout @safe pure nothrow
|
|
||||||
{
|
|
||||||
// Don't block if we have to do.
|
|
||||||
return swapPendings.empty ? blockTime_ : Duration.zero;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Sets the blocking time for IO watchers.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* blockTime = The blocking time. Cannot be larger than
|
|
||||||
* $(D_PSYMBOL maxBlockTime).
|
|
||||||
*/
|
|
||||||
protected @property void blockTime(in Duration blockTime) @safe pure nothrow
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(blockTime <= 1.dur!"hours", "Too long to wait.");
|
|
||||||
assert(!blockTime.isNegative);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
blockTime_ = blockTime;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Does the actual polling.
|
|
||||||
*/
|
|
||||||
protected void poll();
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Accept incoming connections.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* protocolFactory = Protocol factory.
|
|
||||||
* socket = Socket.
|
|
||||||
*/
|
|
||||||
protected void acceptConnection(Protocol delegate() @nogc protocolFactory,
|
|
||||||
int socket);
|
|
||||||
|
|
||||||
/// Whether the event loop should be stopped.
|
|
||||||
private bool done_;
|
|
||||||
|
|
||||||
/// Maximal block time.
|
|
||||||
protected Duration blockTime_ = 1.dur!"minutes";
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Exception thrown on errors in the event loop.
|
|
||||||
*/
|
|
||||||
class BadLoopException : Exception
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* file = The file where the exception occurred.
|
|
||||||
* line = The line number where the exception occurred.
|
|
||||||
* next = The previous exception in the chain of exceptions, if any.
|
|
||||||
*/
|
|
||||||
this(string file = __FILE__, size_t line = __LINE__, Throwable next = null)
|
|
||||||
pure @safe nothrow const
|
|
||||||
{
|
|
||||||
super("Event loop cannot be initialized.", file, line, next);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns the event loop used by default. If an event loop wasn't set with
|
|
||||||
* $(D_PSYMBOL defaultLoop) before, $(D_PSYMBOL getDefaultLoop()) will try to
|
|
||||||
* choose an event loop supported on the system.
|
|
||||||
*
|
|
||||||
* Returns: The default event loop.
|
|
||||||
*/
|
|
||||||
Loop getDefaultLoop()
|
|
||||||
{
|
|
||||||
if (_defaultLoop !is null)
|
|
||||||
{
|
|
||||||
return _defaultLoop;
|
|
||||||
}
|
|
||||||
|
|
||||||
static if (UseEpoll)
|
|
||||||
{
|
|
||||||
_defaultLoop = make!EpollLoop(defaultAllocator);
|
|
||||||
}
|
|
||||||
|
|
||||||
return _defaultLoop;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Sets the default event loop.
|
|
||||||
*
|
|
||||||
* This property makes it possible to implement your own backends or event
|
|
||||||
* loops, for example, if the system is not supported or if you want to
|
|
||||||
* extend the supported implementation. Just extend $(D_PSYMBOL Loop) and pass
|
|
||||||
* your implementation to this property.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* loop = The event loop.
|
|
||||||
*/
|
|
||||||
@property void defaultLoop(Loop loop)
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(loop !is null);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
_defaultLoop = loop;
|
|
||||||
}
|
|
||||||
|
|
||||||
private Loop _defaultLoop;
|
|
@ -1,46 +0,0 @@
|
|||||||
/* This Source Code Form is subject to the terms of the Mozilla Public
|
|
||||||
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
|
||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Copyright: Eugene Wissner 2016.
|
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
|
||||||
* Mozilla Public License, v. 2.0).
|
|
||||||
* Authors: $(LINK2 mailto:belka@caraus.de, Eugene Wissner)
|
|
||||||
*/
|
|
||||||
module tanya.event.protocol;
|
|
||||||
|
|
||||||
import tanya.event.transport;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Common protocol interface.
|
|
||||||
*/
|
|
||||||
interface Protocol
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* data = Read data.
|
|
||||||
*/
|
|
||||||
void received(ubyte[] data);
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Called when a connection is made.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* transport = Protocol transport.
|
|
||||||
*/
|
|
||||||
void connected(DuplexTransport transport);
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Called when a connection is lost.
|
|
||||||
*/
|
|
||||||
void disconnected();
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Interface for TCP.
|
|
||||||
*/
|
|
||||||
interface TransmissionControlProtocol : Protocol
|
|
||||||
{
|
|
||||||
}
|
|
@ -1,138 +0,0 @@
|
|||||||
/* This Source Code Form is subject to the terms of the Mozilla Public
|
|
||||||
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
|
||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Copyright: Eugene Wissner 2016.
|
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
|
||||||
* Mozilla Public License, v. 2.0).
|
|
||||||
* Authors: $(LINK2 mailto:belka@caraus.de, Eugene Wissner)
|
|
||||||
*/
|
|
||||||
module tanya.event.transport;
|
|
||||||
|
|
||||||
import tanya.container.buffer;
|
|
||||||
import tanya.event.protocol;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Exception thrown on read/write errors.
|
|
||||||
*/
|
|
||||||
class TransportException : Exception
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* msg = Message to output.
|
|
||||||
* file = The file where the exception occurred.
|
|
||||||
* line = The line number where the exception occurred.
|
|
||||||
* next = The previous exception in the chain of exceptions, if any.
|
|
||||||
*/
|
|
||||||
this(string msg,
|
|
||||||
string file = __FILE__,
|
|
||||||
size_t line = __LINE__,
|
|
||||||
Throwable next = null) pure @safe nothrow const
|
|
||||||
{
|
|
||||||
super(msg, file, line, next);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Base transport interface.
|
|
||||||
*/
|
|
||||||
interface Transport
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/**
|
|
||||||
* Returns: Protocol.
|
|
||||||
*/
|
|
||||||
@property Protocol protocol() @safe pure nothrow;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: $(D_KEYWORD true) if the peer closed the connection,
|
|
||||||
* $(D_KEYWORD false) otherwise.
|
|
||||||
*/
|
|
||||||
@property immutable(bool) disconnected() const @safe pure nothrow;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* protocol = Application protocol.
|
|
||||||
*/
|
|
||||||
@property void protocol(Protocol protocol) @safe pure nothrow
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(protocol !is null, "protocolConnected cannot be unset.");
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Application protocol.
|
|
||||||
*/
|
|
||||||
@property inout(Protocol) protocol() inout @safe pure nothrow;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Transport socket.
|
|
||||||
*/
|
|
||||||
int socket() const @safe pure nothrow;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Interface for read-only transports.
|
|
||||||
*/
|
|
||||||
interface ReadTransport : Transport
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/**
|
|
||||||
* Returns: Underlying output buffer.
|
|
||||||
*/
|
|
||||||
@property ReadBuffer output();
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Reads data into the buffer.
|
|
||||||
*
|
|
||||||
* Returns: Whether the reading is completed.
|
|
||||||
*
|
|
||||||
* Throws: $(D_PSYMBOL TransportException) if a read error is occured.
|
|
||||||
*/
|
|
||||||
bool receive()
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(!disconnected);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Interface for write-only transports.
|
|
||||||
*/
|
|
||||||
interface WriteTransport : Transport
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/**
|
|
||||||
* Returns: Underlying input buffer.
|
|
||||||
*/
|
|
||||||
@property WriteBuffer input();
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Write some data to the transport.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* data = Data to send.
|
|
||||||
*/
|
|
||||||
void write(ubyte[] data);
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Whether the writing is completed.
|
|
||||||
*
|
|
||||||
* Throws: $(D_PSYMBOL TransportException) if a read error is occured.
|
|
||||||
*/
|
|
||||||
bool send()
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(input.length);
|
|
||||||
assert(!disconnected);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Represents a bidirectional transport.
|
|
||||||
*/
|
|
||||||
abstract class DuplexTransport : ReadTransport, WriteTransport
|
|
||||||
{
|
|
||||||
}
|
|
@ -1,210 +0,0 @@
|
|||||||
/* This Source Code Form is subject to the terms of the Mozilla Public
|
|
||||||
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
|
||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Copyright: Eugene Wissner 2016.
|
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
|
||||||
* Mozilla Public License, v. 2.0).
|
|
||||||
* Authors: $(LINK2 mailto:belka@caraus.de, Eugene Wissner)
|
|
||||||
*/
|
|
||||||
module tanya.event.watcher;
|
|
||||||
|
|
||||||
import tanya.event.protocol;
|
|
||||||
import tanya.event.transport;
|
|
||||||
import tanya.memory;
|
|
||||||
import std.functional;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* A watcher is an opaque structure that you allocate and register to record
|
|
||||||
* your interest in some event.
|
|
||||||
*/
|
|
||||||
abstract class Watcher
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/// Whether the watcher is active.
|
|
||||||
bool active;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Invoke some action on event.
|
|
||||||
*/
|
|
||||||
void invoke();
|
|
||||||
}
|
|
||||||
|
|
||||||
class ConnectionWatcher : Watcher
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/// Watched file descriptor.
|
|
||||||
private int socket_;
|
|
||||||
|
|
||||||
/// Protocol factory.
|
|
||||||
protected Protocol delegate() protocolFactory;
|
|
||||||
|
|
||||||
/// Callback.
|
|
||||||
package void delegate(Protocol delegate() @nogc protocolFactory,
|
|
||||||
int socket) accept;
|
|
||||||
|
|
||||||
invariant
|
|
||||||
{
|
|
||||||
assert(socket_ >= 0, "Called with negative file descriptor.");
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* protocolFactory = Function returning a new $(D_PSYMBOL Protocol) instance.
|
|
||||||
* socket = Socket.
|
|
||||||
*/
|
|
||||||
this(Protocol function() @nogc protocolFactory, int socket)
|
|
||||||
{
|
|
||||||
this.protocolFactory = toDelegate(protocolFactory);
|
|
||||||
socket_ = socket;
|
|
||||||
}
|
|
||||||
|
|
||||||
/// Ditto.
|
|
||||||
this(Protocol delegate() @nogc protocolFactory, int socket)
|
|
||||||
{
|
|
||||||
this.protocolFactory = protocolFactory;
|
|
||||||
socket_ = socket;
|
|
||||||
}
|
|
||||||
|
|
||||||
/// Ditto.
|
|
||||||
protected this(Protocol function() @nogc protocolFactory)
|
|
||||||
{
|
|
||||||
this.protocolFactory = toDelegate(protocolFactory);
|
|
||||||
}
|
|
||||||
|
|
||||||
/// Ditto.
|
|
||||||
protected this(Protocol delegate() @nogc protocolFactory)
|
|
||||||
{
|
|
||||||
this.protocolFactory = protocolFactory;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Socket.
|
|
||||||
*/
|
|
||||||
@property inout(int) socket() inout @safe pure nothrow
|
|
||||||
{
|
|
||||||
return socket_;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Application protocol factory.
|
|
||||||
*/
|
|
||||||
@property inout(Protocol delegate() @nogc) protocol() inout
|
|
||||||
{
|
|
||||||
return protocolFactory;
|
|
||||||
}
|
|
||||||
|
|
||||||
override void invoke()
|
|
||||||
{
|
|
||||||
accept(protocol, socket);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Contains a pending watcher with the invoked events or a transport can be
|
|
||||||
* read from.
|
|
||||||
*/
|
|
||||||
class IOWatcher : ConnectionWatcher
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/// References a watcher or a transport.
|
|
||||||
DuplexTransport transport_;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* protocolFactory = Function returning application specific protocol.
|
|
||||||
* transport = Transport.
|
|
||||||
*/
|
|
||||||
this(Protocol delegate() @nogc protocolFactory,
|
|
||||||
DuplexTransport transport)
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(transport !is null);
|
|
||||||
assert(protocolFactory !is null);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
super(protocolFactory);
|
|
||||||
this.transport_ = transport;
|
|
||||||
}
|
|
||||||
|
|
||||||
~this()
|
|
||||||
{
|
|
||||||
finalize(defaultAllocator, transport_);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Assigns a transport.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* protocolFactory = Function returning application specific protocol.
|
|
||||||
* transport = Transport.
|
|
||||||
*
|
|
||||||
* Returns: $(D_KEYWORD this).
|
|
||||||
*/
|
|
||||||
IOWatcher opCall(Protocol delegate() @nogc protocolFactory,
|
|
||||||
DuplexTransport transport) @safe pure nothrow
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(transport !is null);
|
|
||||||
assert(protocolFactory !is null);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
this.protocolFactory = protocolFactory;
|
|
||||||
this.transport_ = transport;
|
|
||||||
return this;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Transport used by this watcher.
|
|
||||||
*/
|
|
||||||
@property inout(DuplexTransport) transport() inout @safe pure nothrow
|
|
||||||
{
|
|
||||||
return transport_;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Socket.
|
|
||||||
*/
|
|
||||||
override @property inout(int) socket() inout @safe pure nothrow
|
|
||||||
{
|
|
||||||
return transport.socket;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Invokes the watcher callback.
|
|
||||||
*
|
|
||||||
* Finalizes the transport on disconnect.
|
|
||||||
*/
|
|
||||||
override void invoke()
|
|
||||||
{
|
|
||||||
if (transport.protocol is null)
|
|
||||||
{
|
|
||||||
transport.protocol = protocolFactory();
|
|
||||||
transport.protocol.connected(transport);
|
|
||||||
}
|
|
||||||
else if (transport.disconnected)
|
|
||||||
{
|
|
||||||
transport.protocol.disconnected();
|
|
||||||
finalize(defaultAllocator, transport_);
|
|
||||||
protocolFactory = null;
|
|
||||||
}
|
|
||||||
else if (transport.output.length)
|
|
||||||
{
|
|
||||||
transport.protocol.received(transport.output[]);
|
|
||||||
}
|
|
||||||
else if (transport.input.length)
|
|
||||||
{
|
|
||||||
try
|
|
||||||
{
|
|
||||||
transport.send();
|
|
||||||
}
|
|
||||||
catch (TransportException e)
|
|
||||||
{
|
|
||||||
finalize(defaultAllocator, e);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
537
source/tanya/format/conv.d
Normal file
537
source/tanya/format/conv.d
Normal file
@ -0,0 +1,537 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* This module provides functions for converting between different types.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.format.conv;
|
||||||
|
|
||||||
|
import std.traits;
|
||||||
|
import tanya.memory;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Thrown if a type conversion fails.
|
||||||
|
*/
|
||||||
|
final class ConvException : Exception
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* msg = The message for the exception.
|
||||||
|
* file = The file where the exception occurred.
|
||||||
|
* line = The line number where the exception occurred.
|
||||||
|
* next = The previous exception in the chain of exceptions, if any.
|
||||||
|
*/
|
||||||
|
this(string msg,
|
||||||
|
string file = __FILE__,
|
||||||
|
size_t line = __LINE__,
|
||||||
|
Throwable next = null) @nogc @safe pure nothrow
|
||||||
|
{
|
||||||
|
super(msg, file, line, next);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* If the source type $(D_PARAM From) and the target type $(D_PARAM To) are
|
||||||
|
* equal, does nothing. If $(D_PARAM From) can be implicitly converted to
|
||||||
|
* $(D_PARAM To), just returns $(D_PARAM from).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* To = Target type.
|
||||||
|
*
|
||||||
|
* Returns: $(D_PARAM from).
|
||||||
|
*/
|
||||||
|
template to(To)
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* From = Source type.
|
||||||
|
* from = Source value.
|
||||||
|
*/
|
||||||
|
ref To to(From)(ref From from)
|
||||||
|
if (is(To == From))
|
||||||
|
{
|
||||||
|
return from;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
To to(From)(From from)
|
||||||
|
if (is(Unqual!To == Unqual!From) || (isNumeric!From && isFloatingPoint!To))
|
||||||
|
{
|
||||||
|
return from;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
pure nothrow @safe @nogc unittest
|
||||||
|
{
|
||||||
|
auto val = 5.to!int();
|
||||||
|
assert(val == 5);
|
||||||
|
static assert(is(typeof(val) == int));
|
||||||
|
}
|
||||||
|
|
||||||
|
private pure nothrow @safe @nogc unittest
|
||||||
|
{
|
||||||
|
int val = 5;
|
||||||
|
assert(val.to!int() == 5);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Performs checked conversion from an integral type $(D_PARAM From) to an
|
||||||
|
* integral type $(D_PARAM To).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* From = Source type.
|
||||||
|
* To = Target type.
|
||||||
|
* from = Source value.
|
||||||
|
*
|
||||||
|
* Returns: $(D_PARAM from) converted to $(D_PARAM To).
|
||||||
|
*
|
||||||
|
* Throws: $(D_PSYMBOL ConvException) if $(D_PARAM from) is too small or too
|
||||||
|
* large to be represented by $(D_PARAM To).
|
||||||
|
*/
|
||||||
|
To to(To, From)(From from)
|
||||||
|
if (isIntegral!From
|
||||||
|
&& isIntegral!To
|
||||||
|
&& !is(Unqual!To == Unqual!From)
|
||||||
|
&& !is(To == enum))
|
||||||
|
{
|
||||||
|
static if ((isUnsigned!From && isSigned!To && From.sizeof == To.sizeof)
|
||||||
|
|| From.sizeof > To.sizeof)
|
||||||
|
{
|
||||||
|
if (from > To.max)
|
||||||
|
{
|
||||||
|
throw make!ConvException(defaultAllocator,
|
||||||
|
"Positive integer overflow");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
static if (isSigned!From)
|
||||||
|
{
|
||||||
|
static if (isUnsigned!To)
|
||||||
|
{
|
||||||
|
if (from < 0)
|
||||||
|
{
|
||||||
|
throw make!ConvException(defaultAllocator,
|
||||||
|
"Negative integer overflow");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else static if (From.sizeof > To.sizeof)
|
||||||
|
{
|
||||||
|
if (from < To.min)
|
||||||
|
{
|
||||||
|
throw make!ConvException(defaultAllocator,
|
||||||
|
"Negative integer overflow");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
static if (From.sizeof <= To.sizeof)
|
||||||
|
{
|
||||||
|
return from;
|
||||||
|
}
|
||||||
|
else static if (isSigned!To)
|
||||||
|
{
|
||||||
|
return cast(To) from;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
return from & To.max;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private pure nothrow @safe @nogc unittest
|
||||||
|
{
|
||||||
|
// ubyte -> ushort
|
||||||
|
assert((cast(ubyte) 0).to!ushort == 0);
|
||||||
|
assert((cast(ubyte) 1).to!ushort == 1);
|
||||||
|
assert((cast(ubyte) (ubyte.max - 1)).to!ushort == ubyte.max - 1);
|
||||||
|
assert((cast(ubyte) ubyte.max).to!ushort == ubyte.max);
|
||||||
|
|
||||||
|
// ubyte -> short
|
||||||
|
assert((cast(ubyte) 0).to!short == 0);
|
||||||
|
assert((cast(ubyte) 1).to!short == 1);
|
||||||
|
assert((cast(ubyte) (ubyte.max - 1)).to!short == ubyte.max - 1);
|
||||||
|
assert((cast(ubyte) ubyte.max).to!short == ubyte.max);
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
// ubyte <- ushort
|
||||||
|
assert((cast(ushort) 0).to!ubyte == 0);
|
||||||
|
assert((cast(ushort) 1).to!ubyte == 1);
|
||||||
|
assert((cast(ushort) (ubyte.max - 1)).to!ubyte == ubyte.max - 1);
|
||||||
|
assert((cast(ushort) ubyte.max).to!ubyte == ubyte.max);
|
||||||
|
|
||||||
|
// ubyte <- short
|
||||||
|
assert((cast(short) 0).to!ubyte == 0);
|
||||||
|
assert((cast(short) 1).to!ubyte == 1);
|
||||||
|
assert((cast(short) (ubyte.max - 1)).to!ubyte == ubyte.max - 1);
|
||||||
|
assert((cast(short) ubyte.max).to!ubyte == ubyte.max);
|
||||||
|
|
||||||
|
// short <-> int
|
||||||
|
assert(short.min.to!int == short.min);
|
||||||
|
assert((short.min + 1).to!int == short.min + 1);
|
||||||
|
assert((cast(short) -1).to!int == -1);
|
||||||
|
assert((cast(short) 0).to!int == 0);
|
||||||
|
assert((cast(short) 1).to!int == 1);
|
||||||
|
assert((short.max - 1).to!int == short.max - 1);
|
||||||
|
assert(short.max.to!int == short.max);
|
||||||
|
|
||||||
|
assert((cast(int) short.min).to!short == short.min);
|
||||||
|
assert((cast(int) short.min + 1).to!short == short.min + 1);
|
||||||
|
assert((cast(int) -1).to!short == -1);
|
||||||
|
assert((cast(int) 0).to!short == 0);
|
||||||
|
assert((cast(int) 1).to!short == 1);
|
||||||
|
assert((cast(int) short.max - 1).to!short == short.max - 1);
|
||||||
|
assert((cast(int) short.max).to!short == short.max);
|
||||||
|
|
||||||
|
// uint <-> int
|
||||||
|
assert((cast(uint) 0).to!int == 0);
|
||||||
|
assert((cast(uint) 1).to!int == 1);
|
||||||
|
assert((cast(uint) (int.max - 1)).to!int == int.max - 1);
|
||||||
|
assert((cast(uint) int.max).to!int == int.max);
|
||||||
|
|
||||||
|
assert((cast(int) 0).to!uint == 0);
|
||||||
|
assert((cast(int) 1).to!uint == 1);
|
||||||
|
assert((cast(int) (int.max - 1)).to!uint == int.max - 1);
|
||||||
|
assert((cast(int) int.max).to!uint == int.max);
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
ConvException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
assert(int.min.to!short == int.min);
|
||||||
|
}
|
||||||
|
catch (ConvException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
ConvException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
assert(int.max.to!short == int.max);
|
||||||
|
}
|
||||||
|
catch (ConvException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
ConvException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
assert(uint.max.to!ushort == ushort.max);
|
||||||
|
}
|
||||||
|
catch (ConvException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
ConvException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
assert((-1).to!uint == -1);
|
||||||
|
}
|
||||||
|
catch (ConvException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
enum Test : int
|
||||||
|
{
|
||||||
|
one,
|
||||||
|
two,
|
||||||
|
}
|
||||||
|
assert(Test.one.to!int == 0);
|
||||||
|
assert(Test.two.to!int == 1);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Converts a number to a boolean.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* From = Source type.
|
||||||
|
* To = Target type.
|
||||||
|
* from = Source value.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD true) if $(D_INLINECODE from > 0 && from <= 1),
|
||||||
|
* otherwise $(D_KEYWORD false).
|
||||||
|
*
|
||||||
|
* Throws: $(D_PSYMBOL ConvException) if $(D_PARAM from) is greater than `1` or
|
||||||
|
* less than `0`.
|
||||||
|
*/
|
||||||
|
To to(To, From)(From from)
|
||||||
|
if (isNumeric!From && is(Unqual!To == bool) && !is(Unqual!To == Unqual!From))
|
||||||
|
{
|
||||||
|
if (from == 0)
|
||||||
|
{
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
else if (from < 0)
|
||||||
|
{
|
||||||
|
throw make!ConvException(defaultAllocator,
|
||||||
|
"Negative number overflow");
|
||||||
|
}
|
||||||
|
else if (from <= 1)
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
throw make!ConvException(defaultAllocator,
|
||||||
|
"Positive number overflow");
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
assert(0.0.to!bool == false);
|
||||||
|
assert(0.2.to!bool == true);
|
||||||
|
assert(0.5.to!bool == true);
|
||||||
|
assert(1.0.to!bool == true);
|
||||||
|
|
||||||
|
assert(0.to!bool == false);
|
||||||
|
assert(1.to!bool == true);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
ConvException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
assert((-1).to!bool == true);
|
||||||
|
}
|
||||||
|
catch (ConvException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
ConvException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
assert(2.to!bool == true);
|
||||||
|
}
|
||||||
|
catch (ConvException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Converts a boolean to a number. $(D_KEYWORD true) is `1`, $(D_KEYWORD false)
|
||||||
|
* is `0`.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* From = Source type.
|
||||||
|
* To = Target type.
|
||||||
|
* from = Source value.
|
||||||
|
*
|
||||||
|
* Returns: `1` if $(D_PARAM from) is $(D_KEYWORD true), otherwise `0`.
|
||||||
|
*/
|
||||||
|
To to(To, From)(From from)
|
||||||
|
if (is(Unqual!From == bool) && isNumeric!To && !is(Unqual!To == Unqual!From))
|
||||||
|
{
|
||||||
|
return from;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
pure nothrow @safe @nogc unittest
|
||||||
|
{
|
||||||
|
assert(true.to!float == 1.0);
|
||||||
|
assert(true.to!double == 1.0);
|
||||||
|
assert(true.to!ubyte == 1);
|
||||||
|
assert(true.to!byte == 1);
|
||||||
|
assert(true.to!ushort == 1);
|
||||||
|
assert(true.to!short == 1);
|
||||||
|
assert(true.to!uint == 1);
|
||||||
|
assert(true.to!int == 1);
|
||||||
|
|
||||||
|
assert(false.to!float == 0);
|
||||||
|
assert(false.to!double == 0);
|
||||||
|
assert(false.to!ubyte == 0);
|
||||||
|
assert(false.to!byte == 0);
|
||||||
|
assert(false.to!ushort == 0);
|
||||||
|
assert(false.to!short == 0);
|
||||||
|
assert(false.to!uint == 0);
|
||||||
|
assert(false.to!int == 0);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Converts a floating point number to an integral type.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* From = Source type.
|
||||||
|
* To = Target type.
|
||||||
|
* from = Source value.
|
||||||
|
*
|
||||||
|
* Returns: Truncated $(D_PARAM from) (everything after the decimal point is
|
||||||
|
* dropped).
|
||||||
|
*
|
||||||
|
* Throws: $(D_PSYMBOL ConvException) if
|
||||||
|
* $(D_INLINECODE from < To.min || from > To.max).
|
||||||
|
*/
|
||||||
|
To to(To, From)(From from)
|
||||||
|
if (isFloatingPoint!From
|
||||||
|
&& isIntegral!To
|
||||||
|
&& !is(Unqual!To == Unqual!From)
|
||||||
|
&& !is(To == enum))
|
||||||
|
{
|
||||||
|
if (from > To.max)
|
||||||
|
{
|
||||||
|
throw make!ConvException(defaultAllocator,
|
||||||
|
"Positive number overflow");
|
||||||
|
}
|
||||||
|
else if (from < To.min)
|
||||||
|
{
|
||||||
|
throw make!ConvException(defaultAllocator,
|
||||||
|
"Negative number overflow");
|
||||||
|
}
|
||||||
|
return cast(To) from;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc unittest
|
||||||
|
{
|
||||||
|
assert(1.5.to!int == 1);
|
||||||
|
assert(2147483646.5.to!int == 2147483646);
|
||||||
|
assert((-2147483647.5).to!int == -2147483647);
|
||||||
|
assert(2147483646.5.to!uint == 2147483646);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
ConvException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
assert(2147483647.5.to!int == 2147483647);
|
||||||
|
}
|
||||||
|
catch (ConvException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
ConvException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
assert((-2147483648.5).to!int == -2147483648);
|
||||||
|
}
|
||||||
|
catch (ConvException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
ConvException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
assert((-21474.5).to!uint == -21474);
|
||||||
|
}
|
||||||
|
catch (ConvException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Performs checked conversion from an integral type $(D_PARAM From) to an
|
||||||
|
* $(D_KEYWORD enum).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* From = Source type.
|
||||||
|
* To = Target type.
|
||||||
|
* from = Source value.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD enum) value.
|
||||||
|
*
|
||||||
|
* Throws: $(D_PSYMBOL ConvException) if $(D_PARAM from) is not a member of
|
||||||
|
* $(D_PSYMBOL To).
|
||||||
|
|
||||||
|
*/
|
||||||
|
To to(To, From)(From from)
|
||||||
|
if (isIntegral!From && is(To == enum))
|
||||||
|
{
|
||||||
|
foreach (m; EnumMembers!To)
|
||||||
|
{
|
||||||
|
if (from == m)
|
||||||
|
{
|
||||||
|
return m;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
throw make!ConvException(defaultAllocator,
|
||||||
|
"Value not found in enum '" ~ To.stringof ~ "'");
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc unittest
|
||||||
|
{
|
||||||
|
enum Test : int
|
||||||
|
{
|
||||||
|
one,
|
||||||
|
two,
|
||||||
|
}
|
||||||
|
static assert(is(typeof(1.to!Test) == Test));
|
||||||
|
assert(0.to!Test == Test.one);
|
||||||
|
assert(1.to!Test == Test.two);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
enum Test : uint
|
||||||
|
{
|
||||||
|
one,
|
||||||
|
two,
|
||||||
|
}
|
||||||
|
|
||||||
|
ConvException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
assert(5.to!Test == Test.one);
|
||||||
|
}
|
||||||
|
catch (ConvException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
@ -3,24 +3,13 @@
|
|||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Copyright: Eugene Wissner 2016.
|
* This package contains formatting and conversion functions.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2017.
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
* Mozilla Public License, v. 2.0).
|
* Mozilla Public License, v. 2.0).
|
||||||
* Authors: $(LINK2 mailto:belka@caraus.de, Eugene Wissner)
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
*/
|
*/
|
||||||
module tanya.event.config;
|
module tanya.format;
|
||||||
|
|
||||||
package version (DisableBackends)
|
public import tanya.format.conv;
|
||||||
{
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
version (linux)
|
|
||||||
{
|
|
||||||
enum UseEpoll = true;
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
enum UseEpoll = false;
|
|
||||||
}
|
|
||||||
}
|
|
@ -1,112 +0,0 @@
|
|||||||
/* This Source Code Form is subject to the terms of the Mozilla Public
|
|
||||||
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
|
||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Copyright: Eugene Wissner 2016.
|
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
|
||||||
* Mozilla Public License, v. 2.0).
|
|
||||||
* Authors: $(LINK2 mailto:belka@caraus.de, Eugene Wissner)
|
|
||||||
*/
|
|
||||||
module tanya.container.math;
|
|
||||||
|
|
||||||
version (unittest)
|
|
||||||
{
|
|
||||||
import std.algorithm.iteration;
|
|
||||||
}
|
|
||||||
|
|
||||||
@nogc:
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Computes $(D_PARAM x) to the power $(D_PARAM y) modulo $(D_PARAM z).
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* x = Base.
|
|
||||||
* y = Exponent.
|
|
||||||
* z = Divisor.
|
|
||||||
*
|
|
||||||
* Returns: Reminder of the division of $(D_PARAM x) to the power $(D_PARAM y)
|
|
||||||
* by $(D_PARAM z).
|
|
||||||
*/
|
|
||||||
ulong pow(ulong x, ulong y, ulong z) @safe nothrow pure
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(z > 0);
|
|
||||||
}
|
|
||||||
out (result)
|
|
||||||
{
|
|
||||||
assert(result >= 0);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
ulong mask = ulong.max / 2 + 1, result;
|
|
||||||
|
|
||||||
if (y == 0)
|
|
||||||
{
|
|
||||||
return 1 % z;
|
|
||||||
}
|
|
||||||
else if (y == 1)
|
|
||||||
{
|
|
||||||
return x % z;
|
|
||||||
}
|
|
||||||
do
|
|
||||||
{
|
|
||||||
auto bit = y & mask;
|
|
||||||
if (!result && bit)
|
|
||||||
{
|
|
||||||
result = x;
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
|
|
||||||
result *= result;
|
|
||||||
if (bit)
|
|
||||||
{
|
|
||||||
result *= x;
|
|
||||||
}
|
|
||||||
result %= z;
|
|
||||||
|
|
||||||
}
|
|
||||||
while (mask >>= 1);
|
|
||||||
|
|
||||||
return result;
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
assert(pow(3, 5, 7) == 5);
|
|
||||||
assert(pow(2, 2, 1) == 0);
|
|
||||||
assert(pow(3, 3, 3) == 0);
|
|
||||||
assert(pow(7, 4, 2) == 1);
|
|
||||||
assert(pow(53, 0, 2) == 1);
|
|
||||||
assert(pow(53, 1, 3) == 2);
|
|
||||||
assert(pow(53, 2, 5) == 4);
|
|
||||||
assert(pow(0, 0, 5) == 1);
|
|
||||||
assert(pow(0, 5, 5) == 0);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Checks if $(D_PARAM x) is a prime.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* x = The number should be checked.
|
|
||||||
*
|
|
||||||
* Returns: $(D_KEYWORD true) if $(D_PARAM x) is a prime number,
|
|
||||||
* $(D_KEYWORD false) otherwise.
|
|
||||||
*/
|
|
||||||
bool isPseudoprime(ulong x) @safe nothrow pure
|
|
||||||
{
|
|
||||||
return pow(2, x - 1, x) == 1;
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
uint[30] known = [74623, 74653, 74687, 74699, 74707, 74713, 74717, 74719,
|
|
||||||
74843, 74747, 74759, 74761, 74771, 74779, 74797, 74821,
|
|
||||||
74827, 9973, 104729, 15485867, 49979693, 104395303,
|
|
||||||
593441861, 104729, 15485867, 49979693, 104395303,
|
|
||||||
593441861, 899809363, 982451653];
|
|
||||||
|
|
||||||
known.each!((ref x) => assert(isPseudoprime(x)));
|
|
||||||
}
|
|
1545
source/tanya/math/mp.d
Normal file
1545
source/tanya/math/mp.d
Normal file
File diff suppressed because it is too large
Load Diff
203
source/tanya/math/package.d
Normal file
203
source/tanya/math/package.d
Normal file
@ -0,0 +1,203 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* This package provides mathematical functions.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.math;
|
||||||
|
|
||||||
|
import std.traits;
|
||||||
|
public import tanya.math.mp;
|
||||||
|
public import tanya.math.random;
|
||||||
|
|
||||||
|
version (unittest)
|
||||||
|
{
|
||||||
|
import std.algorithm.iteration;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Computes $(D_PARAM x) to the power $(D_PARAM y) modulo $(D_PARAM z).
|
||||||
|
*
|
||||||
|
* If $(D_PARAM I) is an $(D_PSYMBOL Integer), the allocator of $(D_PARAM x)
|
||||||
|
* is used to allocate the result.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* I = Base type.
|
||||||
|
* G = Exponent type.
|
||||||
|
* H = Divisor type:
|
||||||
|
* x = Base.
|
||||||
|
* y = Exponent.
|
||||||
|
* z = Divisor.
|
||||||
|
*
|
||||||
|
* Returns: Reminder of the division of $(D_PARAM x) to the power $(D_PARAM y)
|
||||||
|
* by $(D_PARAM z).
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE z > 0)
|
||||||
|
*/
|
||||||
|
H pow(I, G, H)(in auto ref I x, in auto ref G y, in auto ref H z)
|
||||||
|
if (isIntegral!I && isIntegral!G && isIntegral!H)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(z > 0, "Division by zero.");
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
G mask = G.max / 2 + 1;
|
||||||
|
H result;
|
||||||
|
|
||||||
|
if (y == 0)
|
||||||
|
{
|
||||||
|
return 1 % z;
|
||||||
|
}
|
||||||
|
else if (y == 1)
|
||||||
|
{
|
||||||
|
return x % z;
|
||||||
|
}
|
||||||
|
do
|
||||||
|
{
|
||||||
|
immutable bit = y & mask;
|
||||||
|
if (!result && bit)
|
||||||
|
{
|
||||||
|
result = x;
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
|
||||||
|
result *= result;
|
||||||
|
if (bit)
|
||||||
|
{
|
||||||
|
result *= x;
|
||||||
|
}
|
||||||
|
result %= z;
|
||||||
|
}
|
||||||
|
while (mask >>= 1);
|
||||||
|
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
I pow(I)(const auto ref I x, const auto ref I y, const auto ref I z)
|
||||||
|
if (is(I == Integer))
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(z.length > 0, "Division by zero.");
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
size_t i;
|
||||||
|
auto tmp1 = Integer(x, x.allocator);
|
||||||
|
auto result = Integer(x.allocator);
|
||||||
|
bool firstBit;
|
||||||
|
|
||||||
|
if (x.size == 0 && y.size != 0)
|
||||||
|
{
|
||||||
|
i = y.size;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
result = 1;
|
||||||
|
}
|
||||||
|
while (i < y.size)
|
||||||
|
{
|
||||||
|
for (uint mask = 0x01; mask != 0x10000000; mask <<= 1)
|
||||||
|
{
|
||||||
|
if (y.rep[i] & mask)
|
||||||
|
{
|
||||||
|
result *= tmp1;
|
||||||
|
result %= z;
|
||||||
|
}
|
||||||
|
auto tmp2 = tmp1;
|
||||||
|
tmp1 *= tmp2;
|
||||||
|
tmp1 %= z;
|
||||||
|
}
|
||||||
|
++i;
|
||||||
|
}
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
pure nothrow @safe @nogc unittest
|
||||||
|
{
|
||||||
|
assert(pow(3, 5, 7) == 5);
|
||||||
|
assert(pow(2, 2, 1) == 0);
|
||||||
|
assert(pow(3, 3, 3) == 0);
|
||||||
|
assert(pow(7, 4, 2) == 1);
|
||||||
|
assert(pow(53, 0, 2) == 1);
|
||||||
|
assert(pow(53, 1, 3) == 2);
|
||||||
|
assert(pow(53, 2, 5) == 4);
|
||||||
|
assert(pow(0, 0, 5) == 1);
|
||||||
|
assert(pow(0, 5, 5) == 0);
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
assert(pow(Integer(3), Integer(5), Integer(7)) == 5);
|
||||||
|
assert(pow(Integer(2), Integer(2), Integer(1)) == 0);
|
||||||
|
assert(pow(Integer(3), Integer(3), Integer(3)) == 0);
|
||||||
|
assert(pow(Integer(7), Integer(4), Integer(2)) == 1);
|
||||||
|
assert(pow(Integer(53), Integer(0), Integer(2)) == 1);
|
||||||
|
assert(pow(Integer(53), Integer(1), Integer(3)) == 2);
|
||||||
|
assert(pow(Integer(53), Integer(2), Integer(5)) == 4);
|
||||||
|
assert(pow(Integer(0), Integer(0), Integer(5)) == 1);
|
||||||
|
assert(pow(Integer(0), Integer(5), Integer(5)) == 0);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Checks if $(D_PARAM x) is a prime.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* x = The number should be checked.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD true) if $(D_PARAM x) is a prime number,
|
||||||
|
* $(D_KEYWORD false) otherwise.
|
||||||
|
*/
|
||||||
|
bool isPseudoprime(ulong x) nothrow pure @safe @nogc
|
||||||
|
{
|
||||||
|
return pow(2, x - 1, x) == 1;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
uint[30] known = [74623, 74653, 74687, 74699, 74707, 74713, 74717, 74719,
|
||||||
|
74843, 74747, 74759, 74761, 74771, 74779, 74797, 74821,
|
||||||
|
74827, 9973, 104729, 15485867, 49979693, 104395303,
|
||||||
|
593441861, 104729, 15485867, 49979693, 104395303,
|
||||||
|
593441861, 899809363, 982451653];
|
||||||
|
|
||||||
|
known.each!((ref x) => assert(isPseudoprime(x)));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* I = Value type.
|
||||||
|
* x = Value.
|
||||||
|
*
|
||||||
|
* Returns: The absolute value of a number.
|
||||||
|
*/
|
||||||
|
I abs(I : Integer)(const auto ref I x)
|
||||||
|
{
|
||||||
|
auto result = Integer(x, x.allocator);
|
||||||
|
result.sign = Sign.positive;
|
||||||
|
return result;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
I abs(I : Integer)(I x)
|
||||||
|
{
|
||||||
|
x.sign = Sign.positive;
|
||||||
|
return x;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
I abs(I)(const I x)
|
||||||
|
if (isIntegral!I)
|
||||||
|
{
|
||||||
|
return x >= 0 ? x : -x;
|
||||||
|
}
|
333
source/tanya/math/random.d
Normal file
333
source/tanya/math/random.d
Normal file
@ -0,0 +1,333 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Random number generator.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.math.random;
|
||||||
|
|
||||||
|
import std.digest.sha;
|
||||||
|
import std.typecons;
|
||||||
|
import tanya.memory;
|
||||||
|
|
||||||
|
/// Block size of entropy accumulator (SHA-512).
|
||||||
|
enum blockSize = 64;
|
||||||
|
|
||||||
|
/// Maximum amount gathered from the entropy sources.
|
||||||
|
enum maxGather = 128;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Exception thrown if random number generating fails.
|
||||||
|
*/
|
||||||
|
class EntropyException : Exception
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* msg = Message to output.
|
||||||
|
* file = The file where the exception occurred.
|
||||||
|
* line = The line number where the exception occurred.
|
||||||
|
* next = The previous exception in the chain of exceptions, if any.
|
||||||
|
*/
|
||||||
|
this(string msg,
|
||||||
|
string file = __FILE__,
|
||||||
|
size_t line = __LINE__,
|
||||||
|
Throwable next = null) pure @safe nothrow const @nogc
|
||||||
|
{
|
||||||
|
super(msg, file, line, next);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Interface for implementing entropy sources.
|
||||||
|
*/
|
||||||
|
abstract class EntropySource
|
||||||
|
{
|
||||||
|
/// Amount of already generated entropy.
|
||||||
|
protected ushort size_;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Minimum bytes required from the entropy source.
|
||||||
|
*/
|
||||||
|
@property ubyte threshold() const pure nothrow @safe @nogc;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Whether this entropy source is strong.
|
||||||
|
*/
|
||||||
|
@property bool strong() const pure nothrow @safe @nogc;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Amount of already generated entropy.
|
||||||
|
*/
|
||||||
|
@property ushort size() const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return size_;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* size = Amount of already generated entropy. Cannot be smaller than the
|
||||||
|
* already set value.
|
||||||
|
*/
|
||||||
|
@property void size(ushort size) pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
size_ = size;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Poll the entropy source.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* output = Buffer to save the generate random sequence (the method will
|
||||||
|
* to fill the buffer).
|
||||||
|
*
|
||||||
|
* Returns: Number of bytes that were copied to the $(D_PARAM output)
|
||||||
|
* or $(D_PSYMBOL Nullable!ubyte.init) on error.
|
||||||
|
*/
|
||||||
|
Nullable!ubyte poll(out ubyte[maxGather] output) @nogc;
|
||||||
|
}
|
||||||
|
|
||||||
|
version (linux)
|
||||||
|
{
|
||||||
|
extern (C) long syscall(long number, ...) nothrow @system @nogc;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Uses getrandom system call.
|
||||||
|
*/
|
||||||
|
class PlatformEntropySource : EntropySource
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Returns: Minimum bytes required from the entropy source.
|
||||||
|
*/
|
||||||
|
override @property ubyte threshold() const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return 32;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Whether this entropy source is strong.
|
||||||
|
*/
|
||||||
|
override @property bool strong() const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Poll the entropy source.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* output = Buffer to save the generate random sequence (the method will
|
||||||
|
* to fill the buffer).
|
||||||
|
*
|
||||||
|
* Returns: Number of bytes that were copied to the $(D_PARAM output)
|
||||||
|
* or $(D_PSYMBOL Nullable!ubyte.init) on error.
|
||||||
|
*/
|
||||||
|
override Nullable!ubyte poll(out ubyte[maxGather] output) nothrow @nogc
|
||||||
|
out (length)
|
||||||
|
{
|
||||||
|
assert(length <= maxGather);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
// int getrandom(void *buf, size_t buflen, unsigned int flags);
|
||||||
|
auto length = syscall(318, output.ptr, output.length, 0);
|
||||||
|
Nullable!ubyte ret;
|
||||||
|
|
||||||
|
if (length >= 0)
|
||||||
|
{
|
||||||
|
ret = cast(ubyte) length;
|
||||||
|
}
|
||||||
|
return ret;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
version (X86_64)
|
||||||
|
{
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
auto entropy = defaultAllocator.make!Entropy();
|
||||||
|
ubyte[blockSize] output;
|
||||||
|
output = entropy.random;
|
||||||
|
|
||||||
|
defaultAllocator.dispose(entropy);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Pseudorandom number generator.
|
||||||
|
* ---
|
||||||
|
* auto entropy = defaultAllocator.make!Entropy();
|
||||||
|
*
|
||||||
|
* ubyte[blockSize] output;
|
||||||
|
*
|
||||||
|
* output = entropy.random;
|
||||||
|
*
|
||||||
|
* defaultAllocator.dispose(entropy);
|
||||||
|
* ---
|
||||||
|
*/
|
||||||
|
class Entropy
|
||||||
|
{
|
||||||
|
/// Entropy sources.
|
||||||
|
protected EntropySource[] sources;
|
||||||
|
|
||||||
|
private ubyte sourceCount_;
|
||||||
|
|
||||||
|
private shared Allocator allocator;
|
||||||
|
|
||||||
|
/// Entropy accumulator.
|
||||||
|
protected SHA!(maxGather * 8, 512) accumulator;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* maxSources = Maximum amount of entropy sources can be set.
|
||||||
|
* allocator = Allocator to allocate entropy sources available on the
|
||||||
|
* system.
|
||||||
|
*/
|
||||||
|
this(const size_t maxSources = 20,
|
||||||
|
shared Allocator allocator = defaultAllocator) @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(maxSources > 0 && maxSources <= ubyte.max);
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
allocator.resize(sources, maxSources);
|
||||||
|
|
||||||
|
version (linux)
|
||||||
|
{
|
||||||
|
this ~= allocator.make!PlatformEntropySource;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Amount of the registered entropy sources.
|
||||||
|
*/
|
||||||
|
@property ubyte sourceCount() const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return sourceCount_;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Add an entropy source.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* source = Entropy source.
|
||||||
|
*
|
||||||
|
* Returns: $(D_PSYMBOL this).
|
||||||
|
*
|
||||||
|
* See_Also:
|
||||||
|
* $(D_PSYMBOL EntropySource)
|
||||||
|
*/
|
||||||
|
Entropy opOpAssign(string Op)(EntropySource source) pure nothrow @safe @nogc
|
||||||
|
if (Op == "~")
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(sourceCount_ <= sources.length);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
sources[sourceCount_++] = source;
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Generated random sequence.
|
||||||
|
*
|
||||||
|
* Throws: $(D_PSYMBOL EntropyException) if no strong entropy source was
|
||||||
|
* registered or it failed.
|
||||||
|
*/
|
||||||
|
@property ubyte[blockSize] random() @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(sourceCount_ > 0, "No entropy sources defined.");
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
bool haveStrong;
|
||||||
|
ushort done;
|
||||||
|
ubyte[blockSize] output;
|
||||||
|
|
||||||
|
do
|
||||||
|
{
|
||||||
|
ubyte[maxGather] buffer;
|
||||||
|
|
||||||
|
// Run through our entropy sources
|
||||||
|
for (ubyte i; i < sourceCount; ++i)
|
||||||
|
{
|
||||||
|
auto outputLength = sources[i].poll(buffer);
|
||||||
|
|
||||||
|
if (!outputLength.isNull)
|
||||||
|
{
|
||||||
|
if (outputLength > 0)
|
||||||
|
{
|
||||||
|
update(i, buffer, outputLength);
|
||||||
|
sources[i].size = cast(ushort) (sources[i].size + outputLength);
|
||||||
|
}
|
||||||
|
if (sources[i].size < sources[i].threshold)
|
||||||
|
{
|
||||||
|
continue;
|
||||||
|
}
|
||||||
|
else if (sources[i].strong)
|
||||||
|
{
|
||||||
|
haveStrong = true;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
done = 257;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
while (++done < 256);
|
||||||
|
|
||||||
|
if (!haveStrong)
|
||||||
|
{
|
||||||
|
throw allocator.make!EntropyException("No strong entropy source defined.");
|
||||||
|
}
|
||||||
|
|
||||||
|
output = accumulator.finish();
|
||||||
|
|
||||||
|
// Reset accumulator and counters and recycle existing entropy
|
||||||
|
accumulator.start();
|
||||||
|
|
||||||
|
// Perform second SHA-512 on entropy
|
||||||
|
output = sha512Of(output);
|
||||||
|
|
||||||
|
for (ubyte i = 0; i < sourceCount; ++i)
|
||||||
|
{
|
||||||
|
sources[i].size = 0;
|
||||||
|
}
|
||||||
|
return output;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Update entropy accumulator.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* sourceId = Entropy source index in $(D_PSYMBOL sources).
|
||||||
|
* data = Data got from the entropy source.
|
||||||
|
* length = Length of the received data.
|
||||||
|
*/
|
||||||
|
protected void update(in ubyte sourceId,
|
||||||
|
ref ubyte[maxGather] data,
|
||||||
|
ubyte length) pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
ubyte[2] header;
|
||||||
|
|
||||||
|
if (length > blockSize)
|
||||||
|
{
|
||||||
|
data[0 .. 64] = sha512Of(data);
|
||||||
|
length = blockSize;
|
||||||
|
}
|
||||||
|
|
||||||
|
header[0] = sourceId;
|
||||||
|
header[1] = length;
|
||||||
|
|
||||||
|
accumulator.put(header);
|
||||||
|
accumulator.put(data[0 .. length]);
|
||||||
|
}
|
||||||
|
}
|
@ -3,7 +3,12 @@
|
|||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Copyright: Eugene Wissner 2016.
|
* This module contains the interface for implementing custom allocators.
|
||||||
|
*
|
||||||
|
* Allocators are classes encapsulating memory allocation strategy. This allows
|
||||||
|
* to decouple memory management from the algorithms and the data.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
* Mozilla Public License, v. 2.0).
|
* Mozilla Public License, v. 2.0).
|
||||||
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
@ -11,22 +16,24 @@
|
|||||||
module tanya.memory.allocator;
|
module tanya.memory.allocator;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* This interface should be similar to $(D_PSYMBOL
|
* Abstract class implementing a basic allocator.
|
||||||
* std.experimental.allocator.IAllocator), but usable in
|
|
||||||
* $(D_KEYWORD @nogc)-code.
|
|
||||||
*/
|
*/
|
||||||
interface Allocator
|
interface Allocator
|
||||||
{
|
{
|
||||||
@nogc:
|
|
||||||
/**
|
/**
|
||||||
* Allocates $(D_PARAM s) bytes of memory.
|
* Returns: Alignment offered.
|
||||||
|
*/
|
||||||
|
@property uint alignment() const shared pure nothrow @safe @nogc;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Allocates $(D_PARAM size) bytes of memory.
|
||||||
*
|
*
|
||||||
* Params:
|
* Params:
|
||||||
* s = Amount of memory to allocate.
|
* size = Amount of memory to allocate.
|
||||||
*
|
*
|
||||||
* Returns: The pointer to the new allocated memory.
|
* Returns: Pointer to the new allocated memory.
|
||||||
*/
|
*/
|
||||||
void[] allocate(size_t s) @safe;
|
void[] allocate(const size_t size) shared pure nothrow @nogc;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Deallocates a memory block.
|
* Deallocates a memory block.
|
||||||
@ -36,7 +43,7 @@ interface Allocator
|
|||||||
*
|
*
|
||||||
* Returns: Whether the deallocation was successful.
|
* Returns: Whether the deallocation was successful.
|
||||||
*/
|
*/
|
||||||
bool deallocate(void[] p) @safe;
|
bool deallocate(void[] p) shared pure nothrow @nogc;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Increases or decreases the size of a memory block.
|
* Increases or decreases the size of a memory block.
|
||||||
@ -45,14 +52,28 @@ interface Allocator
|
|||||||
* p = A pointer to the memory block.
|
* p = A pointer to the memory block.
|
||||||
* size = Size of the reallocated block.
|
* size = Size of the reallocated block.
|
||||||
*
|
*
|
||||||
* Returns: Whether the reallocation was successful.
|
* Returns: Pointer to the allocated memory.
|
||||||
*/
|
*/
|
||||||
bool reallocate(ref void[] p, size_t s) @safe;
|
bool reallocate(ref void[] p, const size_t size) shared pure nothrow @nogc;
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Static allocator instance and initializer.
|
* Reallocates a memory block in place if possible or returns
|
||||||
|
* $(D_KEYWORD false). This function cannot be used to allocate or
|
||||||
|
* deallocate memory, so if $(D_PARAM p) is $(D_KEYWORD null) or
|
||||||
|
* $(D_PARAM size) is `0`, it should return $(D_KEYWORD false).
|
||||||
*
|
*
|
||||||
* Returns: An $(D_PSYMBOL Allocator) instance.
|
* Params:
|
||||||
|
* p = A pointer to the memory block.
|
||||||
|
* size = Size of the reallocated block.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD true) if successful, $(D_KEYWORD false) otherwise.
|
||||||
*/
|
*/
|
||||||
static @property Allocator instance() @safe;
|
bool reallocateInPlace(ref void[] p, const size_t size)
|
||||||
|
shared pure nothrow @nogc;
|
||||||
|
}
|
||||||
|
|
||||||
|
package template GetPureInstance(T : Allocator)
|
||||||
|
{
|
||||||
|
alias GetPureInstance = shared(T) function()
|
||||||
|
pure nothrow @nogc;
|
||||||
}
|
}
|
||||||
|
223
source/tanya/memory/mallocator.d
Normal file
223
source/tanya/memory/mallocator.d
Normal file
@ -0,0 +1,223 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Allocator based on $(D_PSYMBOL malloc), $(D_PSYMBOL realloc) and $(D_PSYMBOL free).
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.memory.mallocator;
|
||||||
|
|
||||||
|
import core.stdc.stdlib;
|
||||||
|
import tanya.memory.allocator;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Wrapper for $(D_PSYMBOL malloc)/$(D_PSYMBOL realloc)/$(D_PSYMBOL free) from
|
||||||
|
* the C standard library.
|
||||||
|
*/
|
||||||
|
final class Mallocator : Allocator
|
||||||
|
{
|
||||||
|
private alias MallocType = extern (C) void* function(size_t)
|
||||||
|
pure nothrow @system @nogc;
|
||||||
|
private alias FreeType = extern (C) void function(void*)
|
||||||
|
pure nothrow @system @nogc;
|
||||||
|
private alias ReallocType = extern (C) void* function(void*, size_t)
|
||||||
|
pure nothrow @system @nogc;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Allocates $(D_PARAM size) bytes of memory.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* size = Amount of memory to allocate.
|
||||||
|
*
|
||||||
|
* Returns: The pointer to the new allocated memory.
|
||||||
|
*/
|
||||||
|
void[] allocate(const size_t size) shared pure nothrow @nogc
|
||||||
|
{
|
||||||
|
if (size == 0)
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
auto p = (cast(MallocType) &malloc)(size + psize);
|
||||||
|
|
||||||
|
return p is null ? null : p[psize .. psize + size];
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc nothrow unittest
|
||||||
|
{
|
||||||
|
auto p = Mallocator.instance.allocate(20);
|
||||||
|
assert(p.length == 20);
|
||||||
|
Mallocator.instance.deallocate(p);
|
||||||
|
|
||||||
|
p = Mallocator.instance.allocate(0);
|
||||||
|
assert(p.length == 0);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Deallocates a memory block.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* p = A pointer to the memory block to be freed.
|
||||||
|
*
|
||||||
|
* Returns: Whether the deallocation was successful.
|
||||||
|
*/
|
||||||
|
bool deallocate(void[] p) shared pure nothrow @nogc
|
||||||
|
{
|
||||||
|
if (p !is null)
|
||||||
|
{
|
||||||
|
(cast(FreeType) &free)(p.ptr - psize);
|
||||||
|
}
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc nothrow unittest
|
||||||
|
{
|
||||||
|
void[] p;
|
||||||
|
assert(Mallocator.instance.deallocate(p));
|
||||||
|
|
||||||
|
p = Mallocator.instance.allocate(10);
|
||||||
|
assert(Mallocator.instance.deallocate(p));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Reallocating in place isn't supported.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* p = A pointer to the memory block.
|
||||||
|
* size = Size of the reallocated block.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD false).
|
||||||
|
*/
|
||||||
|
bool reallocateInPlace(ref void[] p, const size_t size)
|
||||||
|
shared pure nothrow @nogc
|
||||||
|
{
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc nothrow unittest
|
||||||
|
{
|
||||||
|
void[] p;
|
||||||
|
assert(!Mallocator.instance.reallocateInPlace(p, 8));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Increases or decreases the size of a memory block.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* p = A pointer to the memory block.
|
||||||
|
* size = Size of the reallocated block.
|
||||||
|
*
|
||||||
|
* Returns: Whether the reallocation was successful.
|
||||||
|
*/
|
||||||
|
bool reallocate(ref void[] p, const size_t size) shared pure nothrow @nogc
|
||||||
|
{
|
||||||
|
if (size == 0)
|
||||||
|
{
|
||||||
|
if (deallocate(p))
|
||||||
|
{
|
||||||
|
p = null;
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else if (p is null)
|
||||||
|
{
|
||||||
|
p = allocate(size);
|
||||||
|
return p is null ? false : true;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
auto r = (cast(ReallocType) &realloc)(p.ptr - psize, size + psize);
|
||||||
|
|
||||||
|
if (r !is null)
|
||||||
|
{
|
||||||
|
p = r[psize .. psize + size];
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc nothrow unittest
|
||||||
|
{
|
||||||
|
void[] p;
|
||||||
|
|
||||||
|
assert(Mallocator.instance.reallocate(p, 20));
|
||||||
|
assert(p.length == 20);
|
||||||
|
|
||||||
|
assert(Mallocator.instance.reallocate(p, 30));
|
||||||
|
assert(p.length == 30);
|
||||||
|
|
||||||
|
assert(Mallocator.instance.reallocate(p, 10));
|
||||||
|
assert(p.length == 10);
|
||||||
|
|
||||||
|
assert(Mallocator.instance.reallocate(p, 0));
|
||||||
|
assert(p is null);
|
||||||
|
}
|
||||||
|
|
||||||
|
// Fails with false.
|
||||||
|
private @nogc nothrow unittest
|
||||||
|
{
|
||||||
|
void[] p = Mallocator.instance.allocate(20);
|
||||||
|
void[] oldP = p;
|
||||||
|
assert(!Mallocator.instance.reallocate(p, size_t.max - Mallocator.psize * 2));
|
||||||
|
assert(oldP is p);
|
||||||
|
Mallocator.instance.deallocate(p);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: The alignment offered.
|
||||||
|
*/
|
||||||
|
@property uint alignment() shared const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return (void*).alignof;
|
||||||
|
}
|
||||||
|
|
||||||
|
private nothrow @nogc unittest
|
||||||
|
{
|
||||||
|
assert(Mallocator.instance.alignment == (void*).alignof);
|
||||||
|
}
|
||||||
|
|
||||||
|
static private shared(Mallocator) instantiate() nothrow @nogc
|
||||||
|
{
|
||||||
|
if (instance_ is null)
|
||||||
|
{
|
||||||
|
const size = __traits(classInstanceSize, Mallocator) + psize;
|
||||||
|
void* p = malloc(size);
|
||||||
|
|
||||||
|
if (p !is null)
|
||||||
|
{
|
||||||
|
p[psize .. size] = typeid(Mallocator).initializer[];
|
||||||
|
instance_ = cast(shared Mallocator) p[psize .. size].ptr;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return instance_;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Static allocator instance and initializer.
|
||||||
|
*
|
||||||
|
* Returns: The global $(D_PSYMBOL Allocator) instance.
|
||||||
|
*/
|
||||||
|
static @property shared(Mallocator) instance() pure nothrow @nogc
|
||||||
|
{
|
||||||
|
return (cast(GetPureInstance!Mallocator) &instantiate)();
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc nothrow unittest
|
||||||
|
{
|
||||||
|
assert(instance is instance);
|
||||||
|
}
|
||||||
|
|
||||||
|
private enum ushort psize = 8;
|
||||||
|
|
||||||
|
private shared static Mallocator instance_;
|
||||||
|
}
|
713
source/tanya/memory/mmappool.d
Normal file
713
source/tanya/memory/mmappool.d
Normal file
@ -0,0 +1,713 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Native allocator for Posix and Windows.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.memory.mmappool;
|
||||||
|
|
||||||
|
import core.stdc.string;
|
||||||
|
import std.algorithm.comparison;
|
||||||
|
import tanya.memory.allocator;
|
||||||
|
|
||||||
|
version (Posix)
|
||||||
|
{
|
||||||
|
import core.sys.posix.sys.mman : PROT_READ, PROT_WRITE, MAP_PRIVATE,
|
||||||
|
MAP_ANON, MAP_FAILED;
|
||||||
|
import core.sys.posix.unistd;
|
||||||
|
|
||||||
|
extern (C)
|
||||||
|
private void* mmap(void* addr,
|
||||||
|
size_t len,
|
||||||
|
int prot,
|
||||||
|
int flags,
|
||||||
|
int fd,
|
||||||
|
off_t offset) pure nothrow @system @nogc;
|
||||||
|
|
||||||
|
extern (C)
|
||||||
|
private int munmap(void* addr, size_t len) pure nothrow @system @nogc;
|
||||||
|
|
||||||
|
private void* mapMemory(const size_t len) pure nothrow @system @nogc
|
||||||
|
{
|
||||||
|
void* p = mmap(null,
|
||||||
|
len,
|
||||||
|
PROT_READ | PROT_WRITE,
|
||||||
|
MAP_PRIVATE | MAP_ANON,
|
||||||
|
-1,
|
||||||
|
0);
|
||||||
|
return p is MAP_FAILED ? null : p;
|
||||||
|
}
|
||||||
|
|
||||||
|
private bool unmapMemory(shared void* addr, const size_t len)
|
||||||
|
pure nothrow @system @nogc
|
||||||
|
{
|
||||||
|
return munmap(cast(void*) addr, len) == 0;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else version (Windows)
|
||||||
|
{
|
||||||
|
import core.sys.windows.winbase : GetSystemInfo, SYSTEM_INFO;
|
||||||
|
|
||||||
|
extern (Windows)
|
||||||
|
private void* VirtualAlloc(void*, size_t, uint, uint)
|
||||||
|
pure nothrow @system @nogc;
|
||||||
|
|
||||||
|
extern (Windows)
|
||||||
|
private int VirtualFree(void* addr, size_t len, uint)
|
||||||
|
pure nothrow @system @nogc;
|
||||||
|
|
||||||
|
private void* mapMemory(const size_t len) pure nothrow @system @nogc
|
||||||
|
{
|
||||||
|
return VirtualAlloc(null,
|
||||||
|
len,
|
||||||
|
0x00001000, // MEM_COMMIT
|
||||||
|
0x04); // PAGE_READWRITE
|
||||||
|
}
|
||||||
|
|
||||||
|
private bool unmapMemory(shared void* addr, const size_t len)
|
||||||
|
pure nothrow @system @nogc
|
||||||
|
{
|
||||||
|
return VirtualFree(cast(void*) addr, 0, 0x8000) == 0;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* This allocator allocates memory in regions (multiple of 64 KB for example).
|
||||||
|
* Each region is then splitted in blocks. So it doesn't request the memory
|
||||||
|
* from the operating system on each call, but only if there are no large
|
||||||
|
* enough free blocks in the available regions.
|
||||||
|
* Deallocation works in the same way. Deallocation doesn't immediately
|
||||||
|
* gives the memory back to the operating system, but marks the appropriate
|
||||||
|
* block as free and only if all blocks in the region are free, the complete
|
||||||
|
* region is deallocated.
|
||||||
|
*
|
||||||
|
* ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
|
||||||
|
* | | | | | || | | |
|
||||||
|
* | |prev <----------- | || | | |
|
||||||
|
* | R | B | | B | || R | B | |
|
||||||
|
* | E | L | | L | next E | L | |
|
||||||
|
* | G | O | DATA | O | FREE ---> G | O | DATA |
|
||||||
|
* | I | C | | C | <--- I | C | |
|
||||||
|
* | O | K | | K | prev O | K | |
|
||||||
|
* | N | -----------> next| || N | | |
|
||||||
|
* | | | | | || | | |
|
||||||
|
* ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
|
||||||
|
*/
|
||||||
|
final class MmapPool : Allocator
|
||||||
|
{
|
||||||
|
version (none)
|
||||||
|
{
|
||||||
|
pure nothrow @nogc invariant
|
||||||
|
{
|
||||||
|
for (auto r = &head; *r !is null; r = &((*r).next))
|
||||||
|
{
|
||||||
|
auto block = cast(Block) (cast(void*) *r + RegionEntry.sizeof);
|
||||||
|
do
|
||||||
|
{
|
||||||
|
assert(block.prev is null || block.prev.next is block);
|
||||||
|
assert(block.next is null || block.next.prev is block);
|
||||||
|
assert(block.region is *r);
|
||||||
|
}
|
||||||
|
while ((block = block.next) !is null);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Allocates $(D_PARAM size) bytes of memory.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* size = Amount of memory to allocate.
|
||||||
|
*
|
||||||
|
* Returns: Pointer to the new allocated memory.
|
||||||
|
*/
|
||||||
|
void[] allocate(const size_t size) shared pure nothrow @nogc
|
||||||
|
{
|
||||||
|
if (size == 0)
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
const dataSize = addAlignment(size);
|
||||||
|
if (dataSize < size)
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
void* data = findBlock(dataSize);
|
||||||
|
if (data is null)
|
||||||
|
{
|
||||||
|
data = initializeRegion(dataSize);
|
||||||
|
}
|
||||||
|
|
||||||
|
return data is null ? null : data[0 .. size];
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
nothrow unittest
|
||||||
|
{
|
||||||
|
auto p = MmapPool.instance.allocate(20);
|
||||||
|
assert(p);
|
||||||
|
MmapPool.instance.deallocate(p);
|
||||||
|
|
||||||
|
p = MmapPool.instance.allocate(0);
|
||||||
|
assert(p.length == 0);
|
||||||
|
}
|
||||||
|
|
||||||
|
// Issue 245: https://issues.caraus.io/issues/245.
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
// allocate() check.
|
||||||
|
size_t tooMuchMemory = size_t.max
|
||||||
|
- MmapPool.alignment_
|
||||||
|
- BlockEntry.sizeof * 2
|
||||||
|
- RegionEntry.sizeof
|
||||||
|
- MmapPool.instance.pageSize;
|
||||||
|
assert(MmapPool.instance.allocate(tooMuchMemory) is null);
|
||||||
|
|
||||||
|
assert(MmapPool.instance.allocate(size_t.max) is null);
|
||||||
|
|
||||||
|
// initializeRegion() check.
|
||||||
|
tooMuchMemory = size_t.max - MmapPool.alignment_;
|
||||||
|
assert(MmapPool.instance.allocate(tooMuchMemory) is null);
|
||||||
|
}
|
||||||
|
|
||||||
|
/*
|
||||||
|
* Search for a block large enough to keep $(D_PARAM size) and split it
|
||||||
|
* into two blocks if the block is too large.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* size = Minimum size the block should have (aligned).
|
||||||
|
*
|
||||||
|
* Returns: Data the block points to or $(D_KEYWORD null).
|
||||||
|
*/
|
||||||
|
private void* findBlock(const ref size_t size) shared pure nothrow @nogc
|
||||||
|
{
|
||||||
|
Block block1;
|
||||||
|
RegionLoop: for (auto r = head; r !is null; r = r.next)
|
||||||
|
{
|
||||||
|
block1 = cast(Block) (cast(void*) r + RegionEntry.sizeof);
|
||||||
|
do
|
||||||
|
{
|
||||||
|
if (block1.free && block1.size >= size)
|
||||||
|
{
|
||||||
|
break RegionLoop;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
while ((block1 = block1.next) !is null);
|
||||||
|
}
|
||||||
|
if (block1 is null)
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
else if (block1.size >= size + alignment_ + BlockEntry.sizeof)
|
||||||
|
{ // Split the block if needed
|
||||||
|
Block block2 = cast(Block) (cast(void*) block1 + BlockEntry.sizeof + size);
|
||||||
|
block2.prev = block1;
|
||||||
|
block2.next = block1.next;
|
||||||
|
block2.free = true;
|
||||||
|
block2.size = block1.size - BlockEntry.sizeof - size;
|
||||||
|
block2.region = block1.region;
|
||||||
|
|
||||||
|
if (block1.next !is null)
|
||||||
|
{
|
||||||
|
block1.next.prev = block2;
|
||||||
|
}
|
||||||
|
block1.next = block2;
|
||||||
|
block1.size = size;
|
||||||
|
}
|
||||||
|
block1.free = false;
|
||||||
|
block1.region.blocks = block1.region.blocks + 1;
|
||||||
|
|
||||||
|
return cast(void*) block1 + BlockEntry.sizeof;
|
||||||
|
}
|
||||||
|
|
||||||
|
// Merge block with the next one.
|
||||||
|
private void mergeNext(Block block) shared const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
block.size = block.size + BlockEntry.sizeof + block.next.size;
|
||||||
|
if (block.next.next !is null)
|
||||||
|
{
|
||||||
|
block.next.next.prev = block;
|
||||||
|
}
|
||||||
|
block.next = block.next.next;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Deallocates a memory block.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* p = A pointer to the memory block to be freed.
|
||||||
|
*
|
||||||
|
* Returns: Whether the deallocation was successful.
|
||||||
|
*/
|
||||||
|
bool deallocate(void[] p) shared pure nothrow @nogc
|
||||||
|
{
|
||||||
|
if (p.ptr is null)
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
Block block = cast(Block) (p.ptr - BlockEntry.sizeof);
|
||||||
|
if (block.region.blocks <= 1)
|
||||||
|
{
|
||||||
|
if (block.region.prev !is null)
|
||||||
|
{
|
||||||
|
block.region.prev.next = block.region.next;
|
||||||
|
}
|
||||||
|
else // Replace the list head. It is being deallocated
|
||||||
|
{
|
||||||
|
head = block.region.next;
|
||||||
|
}
|
||||||
|
if (block.region.next !is null)
|
||||||
|
{
|
||||||
|
block.region.next.prev = block.region.prev;
|
||||||
|
}
|
||||||
|
return unmapMemory(block.region, block.region.size);
|
||||||
|
}
|
||||||
|
// Merge blocks if neigbours are free.
|
||||||
|
if (block.next !is null && block.next.free)
|
||||||
|
{
|
||||||
|
mergeNext(block);
|
||||||
|
}
|
||||||
|
if (block.prev !is null && block.prev.free)
|
||||||
|
{
|
||||||
|
block.prev.size = block.prev.size + BlockEntry.sizeof + block.size;
|
||||||
|
if (block.next !is null)
|
||||||
|
{
|
||||||
|
block.next.prev = block.prev;
|
||||||
|
}
|
||||||
|
block.prev.next = block.next;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
block.free = true;
|
||||||
|
}
|
||||||
|
block.region.blocks = block.region.blocks - 1;
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
nothrow unittest
|
||||||
|
{
|
||||||
|
auto p = MmapPool.instance.allocate(20);
|
||||||
|
|
||||||
|
assert(MmapPool.instance.deallocate(p));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Reallocates a memory block in place if possible or returns
|
||||||
|
* $(D_KEYWORD false). This function cannot be used to allocate or
|
||||||
|
* deallocate memory, so if $(D_PARAM p) is $(D_KEYWORD null) or
|
||||||
|
* $(D_PARAM size) is `0`, it should return $(D_KEYWORD false).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* p = A pointer to the memory block.
|
||||||
|
* size = Size of the reallocated block.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD true) if successful, $(D_KEYWORD false) otherwise.
|
||||||
|
*/
|
||||||
|
bool reallocateInPlace(ref void[] p, const size_t size)
|
||||||
|
shared pure nothrow @nogc
|
||||||
|
{
|
||||||
|
if (p is null || size == 0)
|
||||||
|
{
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
if (size <= p.length)
|
||||||
|
{
|
||||||
|
// Leave the block as is.
|
||||||
|
p = p.ptr[0 .. size];
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
Block block1 = cast(Block) (p.ptr - BlockEntry.sizeof);
|
||||||
|
|
||||||
|
if (block1.size >= size)
|
||||||
|
{
|
||||||
|
// Enough space in the current block.
|
||||||
|
p = p.ptr[0 .. size];
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
const dataSize = addAlignment(size);
|
||||||
|
const pAlignment = addAlignment(p.length);
|
||||||
|
assert(pAlignment >= p.length, "Invalid memory chunk length");
|
||||||
|
const delta = dataSize - pAlignment;
|
||||||
|
|
||||||
|
if (block1.next is null
|
||||||
|
|| !block1.next.free
|
||||||
|
|| dataSize < size
|
||||||
|
|| block1.next.size + BlockEntry.sizeof < delta)
|
||||||
|
{
|
||||||
|
/* * It is the last block in the region
|
||||||
|
* * The next block is too small
|
||||||
|
* * The next block isn't free
|
||||||
|
* * Requested size is too large
|
||||||
|
*/
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
if (block1.next.size >= delta + alignment_)
|
||||||
|
{
|
||||||
|
// Move size from block2 to block1.
|
||||||
|
block1.next.size = block1.next.size - delta;
|
||||||
|
block1.size = block1.size + delta;
|
||||||
|
|
||||||
|
auto block2 = cast(Block) (p.ptr + dataSize);
|
||||||
|
if (block1.next.next !is null)
|
||||||
|
{
|
||||||
|
block1.next.next.prev = block2;
|
||||||
|
}
|
||||||
|
// block1.next and block2 can overlap.
|
||||||
|
memmove(cast(void*) block2, cast(void*) block1.next, BlockEntry.sizeof);
|
||||||
|
block1.next = block2;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
// The next block has enough space, but is too small for further
|
||||||
|
// allocations. Merge it with the current block.
|
||||||
|
mergeNext(block1);
|
||||||
|
}
|
||||||
|
|
||||||
|
p = p.ptr[0 .. size];
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
nothrow unittest
|
||||||
|
{
|
||||||
|
void[] p;
|
||||||
|
assert(!MmapPool.instance.reallocateInPlace(p, 5));
|
||||||
|
assert(p is null);
|
||||||
|
|
||||||
|
p = MmapPool.instance.allocate(1);
|
||||||
|
auto orig = p.ptr;
|
||||||
|
|
||||||
|
assert(MmapPool.instance.reallocateInPlace(p, 2));
|
||||||
|
assert(p.length == 2);
|
||||||
|
assert(p.ptr == orig);
|
||||||
|
|
||||||
|
assert(MmapPool.instance.reallocateInPlace(p, 4));
|
||||||
|
assert(p.length == 4);
|
||||||
|
assert(p.ptr == orig);
|
||||||
|
|
||||||
|
assert(MmapPool.instance.reallocateInPlace(p, 2));
|
||||||
|
assert(p.length == 2);
|
||||||
|
assert(p.ptr == orig);
|
||||||
|
|
||||||
|
MmapPool.instance.deallocate(p);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Increases or decreases the size of a memory block.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* p = A pointer to the memory block.
|
||||||
|
* size = Size of the reallocated block.
|
||||||
|
*
|
||||||
|
* Returns: Whether the reallocation was successful.
|
||||||
|
*/
|
||||||
|
bool reallocate(ref void[] p, const size_t size) shared pure nothrow @nogc
|
||||||
|
{
|
||||||
|
if (size == 0)
|
||||||
|
{
|
||||||
|
if (deallocate(p))
|
||||||
|
{
|
||||||
|
p = null;
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
else if (reallocateInPlace(p, size))
|
||||||
|
{
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
// Can't reallocate in place, allocate a new block,
|
||||||
|
// copy and delete the previous one.
|
||||||
|
void[] reallocP = allocate(size);
|
||||||
|
if (reallocP is null)
|
||||||
|
{
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
if (p !is null)
|
||||||
|
{
|
||||||
|
memcpy(reallocP.ptr, p.ptr, min(p.length, size));
|
||||||
|
deallocate(p);
|
||||||
|
}
|
||||||
|
p = reallocP;
|
||||||
|
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
nothrow unittest
|
||||||
|
{
|
||||||
|
void[] p;
|
||||||
|
MmapPool.instance.reallocate(p, 10 * int.sizeof);
|
||||||
|
(cast(int[]) p)[7] = 123;
|
||||||
|
|
||||||
|
assert(p.length == 40);
|
||||||
|
|
||||||
|
MmapPool.instance.reallocate(p, 8 * int.sizeof);
|
||||||
|
|
||||||
|
assert(p.length == 32);
|
||||||
|
assert((cast(int[]) p)[7] == 123);
|
||||||
|
|
||||||
|
MmapPool.instance.reallocate(p, 20 * int.sizeof);
|
||||||
|
(cast(int[]) p)[15] = 8;
|
||||||
|
|
||||||
|
assert(p.length == 80);
|
||||||
|
assert((cast(int[]) p)[15] == 8);
|
||||||
|
assert((cast(int[]) p)[7] == 123);
|
||||||
|
|
||||||
|
MmapPool.instance.reallocate(p, 8 * int.sizeof);
|
||||||
|
|
||||||
|
assert(p.length == 32);
|
||||||
|
assert((cast(int[]) p)[7] == 123);
|
||||||
|
|
||||||
|
MmapPool.instance.deallocate(p);
|
||||||
|
}
|
||||||
|
|
||||||
|
static private shared(MmapPool) instantiate() nothrow @nogc
|
||||||
|
{
|
||||||
|
if (instance_ is null)
|
||||||
|
{
|
||||||
|
// Get system dependend page size.
|
||||||
|
version (Posix)
|
||||||
|
{
|
||||||
|
size_t pageSize = sysconf(_SC_PAGE_SIZE);
|
||||||
|
if (pageSize < 65536)
|
||||||
|
{
|
||||||
|
pageSize = pageSize * 65536 / pageSize;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else version (Windows)
|
||||||
|
{
|
||||||
|
SYSTEM_INFO si;
|
||||||
|
GetSystemInfo(&si);
|
||||||
|
size_t pageSize = si.dwPageSize;
|
||||||
|
}
|
||||||
|
|
||||||
|
const instanceSize = addAlignment(__traits(classInstanceSize,
|
||||||
|
MmapPool));
|
||||||
|
|
||||||
|
Region head; // Will become soon our region list head
|
||||||
|
void* data = initializeRegion(instanceSize, head, pageSize);
|
||||||
|
if (data !is null)
|
||||||
|
{
|
||||||
|
memcpy(data, typeid(MmapPool).initializer.ptr, instanceSize);
|
||||||
|
instance_ = cast(shared MmapPool) data;
|
||||||
|
instance_.head = head;
|
||||||
|
instance_.pageSize = pageSize;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return instance_;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Static allocator instance and initializer.
|
||||||
|
*
|
||||||
|
* Returns: Global $(D_PSYMBOL MmapPool) instance.
|
||||||
|
*/
|
||||||
|
static @property shared(MmapPool) instance() pure nothrow @nogc
|
||||||
|
{
|
||||||
|
return (cast(GetPureInstance!MmapPool) &instantiate)();
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
nothrow unittest
|
||||||
|
{
|
||||||
|
assert(instance is instance);
|
||||||
|
}
|
||||||
|
|
||||||
|
/*
|
||||||
|
* Initializes a region for one element.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* size = Aligned size of the first data block in the region.
|
||||||
|
* head = Region list head.
|
||||||
|
*
|
||||||
|
* Returns: A pointer to the data.
|
||||||
|
*/
|
||||||
|
private static void* initializeRegion(const size_t size,
|
||||||
|
ref Region head,
|
||||||
|
const size_t pageSize)
|
||||||
|
pure nothrow @nogc
|
||||||
|
{
|
||||||
|
const regionSize = calculateRegionSize(size, pageSize);
|
||||||
|
if (regionSize < size)
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
void* p = mapMemory(regionSize);
|
||||||
|
if (p is null)
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
|
||||||
|
Region region = cast(Region) p;
|
||||||
|
region.blocks = 1;
|
||||||
|
region.size = regionSize;
|
||||||
|
|
||||||
|
// Set the pointer to the head of the region list
|
||||||
|
if (head !is null)
|
||||||
|
{
|
||||||
|
head.prev = region;
|
||||||
|
}
|
||||||
|
region.next = head;
|
||||||
|
region.prev = null;
|
||||||
|
head = region;
|
||||||
|
|
||||||
|
// Initialize the data block
|
||||||
|
void* memoryPointer = p + RegionEntry.sizeof;
|
||||||
|
Block block1 = cast(Block) memoryPointer;
|
||||||
|
block1.size = size;
|
||||||
|
block1.free = false;
|
||||||
|
|
||||||
|
// It is what we want to return
|
||||||
|
void* data = memoryPointer + BlockEntry.sizeof;
|
||||||
|
|
||||||
|
// Free block after data
|
||||||
|
memoryPointer = data + size;
|
||||||
|
Block block2 = cast(Block) memoryPointer;
|
||||||
|
block1.prev = block2.next = null;
|
||||||
|
block1.next = block2;
|
||||||
|
block2.prev = block1;
|
||||||
|
block2.size = regionSize - size - RegionEntry.sizeof - BlockEntry.sizeof * 2;
|
||||||
|
block2.free = true;
|
||||||
|
block1.region = block2.region = region;
|
||||||
|
|
||||||
|
return data;
|
||||||
|
}
|
||||||
|
|
||||||
|
private void* initializeRegion(const size_t size) shared pure nothrow @nogc
|
||||||
|
{
|
||||||
|
return initializeRegion(size, this.head, this.pageSize);
|
||||||
|
}
|
||||||
|
|
||||||
|
/*
|
||||||
|
* Params:
|
||||||
|
* x = Space to be aligned.
|
||||||
|
*
|
||||||
|
* Returns: Aligned size of $(D_PARAM x).
|
||||||
|
*/
|
||||||
|
private static size_t addAlignment(const size_t x) pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return (x - 1) / alignment_ * alignment_ + alignment_;
|
||||||
|
}
|
||||||
|
|
||||||
|
/*
|
||||||
|
* Params:
|
||||||
|
* x = Required space.
|
||||||
|
* pageSize = Page size.
|
||||||
|
*
|
||||||
|
* Returns: Minimum region size (a multiple of $(D_PSYMBOL pageSize)).
|
||||||
|
*/
|
||||||
|
private static size_t calculateRegionSize(ref const size_t x,
|
||||||
|
ref const size_t pageSize)
|
||||||
|
pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return (x + RegionEntry.sizeof + BlockEntry.sizeof * 2)
|
||||||
|
/ pageSize * pageSize + pageSize;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Alignment offered.
|
||||||
|
*/
|
||||||
|
@property uint alignment() shared const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return alignment_;
|
||||||
|
}
|
||||||
|
|
||||||
|
private nothrow @nogc unittest
|
||||||
|
{
|
||||||
|
assert(MmapPool.instance.alignment == MmapPool.alignment_);
|
||||||
|
}
|
||||||
|
|
||||||
|
private enum uint alignment_ = 8;
|
||||||
|
|
||||||
|
private shared static MmapPool instance_;
|
||||||
|
private shared size_t pageSize;
|
||||||
|
|
||||||
|
private shared struct RegionEntry
|
||||||
|
{
|
||||||
|
Region prev;
|
||||||
|
Region next;
|
||||||
|
uint blocks;
|
||||||
|
size_t size;
|
||||||
|
}
|
||||||
|
private alias Region = shared RegionEntry*;
|
||||||
|
private shared Region head;
|
||||||
|
|
||||||
|
private shared struct BlockEntry
|
||||||
|
{
|
||||||
|
Block prev;
|
||||||
|
Block next;
|
||||||
|
Region region;
|
||||||
|
size_t size;
|
||||||
|
bool free;
|
||||||
|
}
|
||||||
|
private alias Block = shared BlockEntry*;
|
||||||
|
}
|
||||||
|
|
||||||
|
// A lot of allocations/deallocations, but it is the minimum caused a
|
||||||
|
// segmentation fault because MmapPool reallocateInPlace moves a block wrong.
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
auto a = MmapPool.instance.allocate(16);
|
||||||
|
auto d = MmapPool.instance.allocate(16);
|
||||||
|
auto b = MmapPool.instance.allocate(16);
|
||||||
|
auto e = MmapPool.instance.allocate(16);
|
||||||
|
auto c = MmapPool.instance.allocate(16);
|
||||||
|
auto f = MmapPool.instance.allocate(16);
|
||||||
|
|
||||||
|
MmapPool.instance.deallocate(a);
|
||||||
|
MmapPool.instance.deallocate(b);
|
||||||
|
MmapPool.instance.deallocate(c);
|
||||||
|
|
||||||
|
a = MmapPool.instance.allocate(50);
|
||||||
|
MmapPool.instance.reallocateInPlace(a, 64);
|
||||||
|
MmapPool.instance.deallocate(a);
|
||||||
|
|
||||||
|
a = MmapPool.instance.allocate(1);
|
||||||
|
auto tmp1 = MmapPool.instance.allocate(1);
|
||||||
|
auto h1 = MmapPool.instance.allocate(1);
|
||||||
|
auto tmp2 = cast(ubyte[]) MmapPool.instance.allocate(1);
|
||||||
|
|
||||||
|
auto h2 = MmapPool.instance.allocate(2);
|
||||||
|
tmp1 = MmapPool.instance.allocate(1);
|
||||||
|
MmapPool.instance.deallocate(h2);
|
||||||
|
MmapPool.instance.deallocate(h1);
|
||||||
|
|
||||||
|
h2 = MmapPool.instance.allocate(2);
|
||||||
|
h1 = MmapPool.instance.allocate(1);
|
||||||
|
MmapPool.instance.deallocate(h2);
|
||||||
|
|
||||||
|
auto rep = cast(void[]) tmp2;
|
||||||
|
MmapPool.instance.reallocate(rep, tmp1.length);
|
||||||
|
tmp2 = cast(ubyte[]) rep;
|
||||||
|
|
||||||
|
MmapPool.instance.reallocate(tmp1, 9);
|
||||||
|
|
||||||
|
rep = cast(void[]) tmp2;
|
||||||
|
MmapPool.instance.reallocate(rep, tmp1.length);
|
||||||
|
tmp2 = cast(ubyte[]) rep;
|
||||||
|
MmapPool.instance.reallocate(tmp1, 17);
|
||||||
|
|
||||||
|
tmp2[$ - 1] = 0;
|
||||||
|
|
||||||
|
MmapPool.instance.deallocate(tmp1);
|
||||||
|
|
||||||
|
b = MmapPool.instance.allocate(16);
|
||||||
|
|
||||||
|
MmapPool.instance.deallocate(h1);
|
||||||
|
MmapPool.instance.deallocate(a);
|
||||||
|
MmapPool.instance.deallocate(b);
|
||||||
|
MmapPool.instance.deallocate(d);
|
||||||
|
MmapPool.instance.deallocate(e);
|
||||||
|
MmapPool.instance.deallocate(f);
|
||||||
|
}
|
@ -3,205 +3,487 @@
|
|||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Copyright: Eugene Wissner 2016.
|
* Dynamic memory management.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
* Mozilla Public License, v. 2.0).
|
* Mozilla Public License, v. 2.0).
|
||||||
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
*/
|
*/
|
||||||
module tanya.memory;
|
module tanya.memory;
|
||||||
|
|
||||||
public import tanya.memory.allocator;
|
import core.exception;
|
||||||
public import std.experimental.allocator : make, makeArray, expandArray, shrinkArray, IAllocator;
|
import std.algorithm.iteration;
|
||||||
import core.atomic;
|
import std.algorithm.mutation;
|
||||||
import core.stdc.stdlib;
|
import std.conv;
|
||||||
|
import std.range;
|
||||||
import std.traits;
|
import std.traits;
|
||||||
|
public import tanya.memory.allocator;
|
||||||
|
import tanya.memory.mmappool;
|
||||||
|
|
||||||
version (Windows)
|
/**
|
||||||
|
* The mixin generates common methods for classes and structs using
|
||||||
|
* allocators. It provides a protected member, constructor and a read-only property,
|
||||||
|
* that checks if an allocator was already set and sets it to the default
|
||||||
|
* one, if not (useful for structs which don't have a default constructor).
|
||||||
|
*/
|
||||||
|
mixin template DefaultAllocator()
|
||||||
{
|
{
|
||||||
import core.sys.windows.windows;
|
/// Allocator.
|
||||||
}
|
protected shared Allocator allocator_;
|
||||||
else version (Posix)
|
|
||||||
{
|
|
||||||
public import tanya.memory.ullocator;
|
|
||||||
import core.sys.posix.pthread;
|
|
||||||
}
|
|
||||||
|
|
||||||
@nogc:
|
/**
|
||||||
|
* Params:
|
||||||
version (Windows)
|
* allocator = The allocator should be used.
|
||||||
{
|
*
|
||||||
package alias Mutex = CRITICAL_SECTION;
|
* Precondition: $(D_INLINECODE allocator_ !is null)
|
||||||
package alias destroyMutex = DeleteCriticalSection;
|
*/
|
||||||
}
|
this(shared Allocator allocator) pure nothrow @safe @nogc
|
||||||
else version (Posix)
|
in
|
||||||
{
|
|
||||||
package alias Mutex = pthread_mutex_t;
|
|
||||||
package void destroyMutex(pthread_mutex_t* mtx)
|
|
||||||
{
|
{
|
||||||
pthread_mutex_destroy(mtx) && assert(0);
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
this.allocator_ = allocator;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* This property checks if the allocator was set in the constructor
|
||||||
|
* and sets it to the default one, if not.
|
||||||
|
*
|
||||||
|
* Returns: Used allocator.
|
||||||
|
*
|
||||||
|
* Postcondition: $(D_INLINECODE allocator !is null)
|
||||||
|
*/
|
||||||
|
protected @property shared(Allocator) allocator() pure nothrow @safe @nogc
|
||||||
|
out (allocator)
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
if (allocator_ is null)
|
||||||
|
{
|
||||||
|
allocator_ = defaultAllocator;
|
||||||
|
}
|
||||||
|
return allocator_;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
@property shared(Allocator) allocator() const pure nothrow @trusted @nogc
|
||||||
|
out (allocator)
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
if (allocator_ is null)
|
||||||
|
{
|
||||||
|
return defaultAllocator;
|
||||||
|
}
|
||||||
|
return cast(shared Allocator) allocator_;
|
||||||
}
|
}
|
||||||
}
|
}
|
||||||
|
|
||||||
@property void defaultAllocator(Allocator allocator) @safe nothrow
|
// From druntime
|
||||||
|
extern (C)
|
||||||
|
private void _d_monitordelete(Object h, bool det) pure nothrow @nogc;
|
||||||
|
|
||||||
|
shared Allocator allocator;
|
||||||
|
|
||||||
|
shared static this() nothrow @nogc
|
||||||
{
|
{
|
||||||
_defaultAllocator = allocator;
|
allocator = MmapPool.instance;
|
||||||
}
|
}
|
||||||
|
|
||||||
@property Allocator defaultAllocator() @safe nothrow
|
private shared(Allocator) getAllocatorInstance() nothrow @nogc
|
||||||
{
|
{
|
||||||
return _defaultAllocator;
|
return allocator;
|
||||||
}
|
|
||||||
|
|
||||||
static this() @safe nothrow
|
|
||||||
{
|
|
||||||
defaultAllocator = Ullocator.instance;
|
|
||||||
}
|
|
||||||
|
|
||||||
package struct Monitor
|
|
||||||
{
|
|
||||||
Object.Monitor impl; // for user-level monitors
|
|
||||||
void delegate(Object) @nogc[] devt; // for internal monitors
|
|
||||||
size_t refs; // reference count
|
|
||||||
version (Posix)
|
|
||||||
{
|
|
||||||
Mutex mtx;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
package @property ref shared(Monitor*) monitor(Object h) pure nothrow
|
|
||||||
{
|
|
||||||
return *cast(shared Monitor**)&h.__monitor;
|
|
||||||
}
|
}
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Destroys and then deallocates (using $(D_PARAM allocator)) the class
|
* Returns: Default allocator.
|
||||||
* object referred to by a $(D_KEYWORD class) or $(D_KEYWORD interface)
|
*
|
||||||
* reference. It is assumed the respective entities had been allocated with
|
* Postcondition: $(D_INLINECODE allocator !is null).
|
||||||
* the same allocator.
|
*/
|
||||||
|
@property shared(Allocator) defaultAllocator() pure nothrow @trusted @nogc
|
||||||
|
out (allocator)
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
return (cast(GetPureInstance!Allocator) &getAllocatorInstance)();
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Sets the default allocator.
|
||||||
*
|
*
|
||||||
* Params:
|
* Params:
|
||||||
* A = The type of the allocator used for the ojbect allocation.
|
* allocator = $(D_PSYMBOL Allocator) instance.
|
||||||
* T = The type of the object that should be destroyed.
|
*
|
||||||
* allocator = The allocator used for the object allocation.
|
* Precondition: $(D_INLINECODE allocator !is null).
|
||||||
* p = The object should be destroyed.
|
|
||||||
*/
|
*/
|
||||||
void finalize(A, T)(auto ref A allocator, ref T p)
|
@property void defaultAllocator(shared(Allocator) allocator) nothrow @safe @nogc
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
.allocator = allocator;
|
||||||
|
}
|
||||||
|
|
||||||
|
private nothrow @nogc unittest
|
||||||
|
{
|
||||||
|
import tanya.memory.mallocator;
|
||||||
|
|
||||||
|
auto oldAllocator = defaultAllocator;
|
||||||
|
defaultAllocator = Mallocator.instance;
|
||||||
|
assert(defaultAllocator is Mallocator.instance);
|
||||||
|
|
||||||
|
defaultAllocator = oldAllocator;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns the size in bytes of the state that needs to be allocated to hold an
|
||||||
|
* object of type $(D_PARAM T).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Object type.
|
||||||
|
*/
|
||||||
|
template stateSize(T)
|
||||||
|
{
|
||||||
|
static if (is(T == class) || is(T == interface))
|
||||||
|
{
|
||||||
|
enum stateSize = __traits(classInstanceSize, T);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
enum stateSize = T.sizeof;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* size = Raw size.
|
||||||
|
* alignment = Alignment.
|
||||||
|
*
|
||||||
|
* Returns: Aligned size.
|
||||||
|
*/
|
||||||
|
size_t alignedSize(const size_t size, const size_t alignment = 8)
|
||||||
|
pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return (size - 1) / alignment * alignment + alignment;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Internal function used to create, resize or destroy a dynamic array. It
|
||||||
|
* may throw $(D_PSYMBOL OutOfMemoryError). The new
|
||||||
|
* allocated part of the array isn't initialized. This function can be trusted
|
||||||
|
* only in the data structures that can ensure that the array is
|
||||||
|
* allocated/rellocated/deallocated with the same allocator.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Element type of the array being created.
|
||||||
|
* allocator = The allocator used for getting memory.
|
||||||
|
* array = A reference to the array being changed.
|
||||||
|
* length = New array length.
|
||||||
|
*
|
||||||
|
* Returns: $(D_PARAM array).
|
||||||
|
*/
|
||||||
|
package(tanya) T[] resize(T)(shared Allocator allocator,
|
||||||
|
auto ref T[] array,
|
||||||
|
const size_t length) @trusted
|
||||||
|
{
|
||||||
|
if (length == 0)
|
||||||
|
{
|
||||||
|
if (allocator.deallocate(array))
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
onOutOfMemoryErrorNoGC();
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
void[] buf = array;
|
||||||
|
if (!allocator.reallocate(buf, length * T.sizeof))
|
||||||
|
{
|
||||||
|
onOutOfMemoryErrorNoGC();
|
||||||
|
}
|
||||||
|
// Casting from void[] is unsafe, but we know we cast to the original type.
|
||||||
|
array = cast(T[]) buf;
|
||||||
|
|
||||||
|
return array;
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
int[] p;
|
||||||
|
|
||||||
|
p = defaultAllocator.resize(p, 20);
|
||||||
|
assert(p.length == 20);
|
||||||
|
|
||||||
|
p = defaultAllocator.resize(p, 30);
|
||||||
|
assert(p.length == 30);
|
||||||
|
|
||||||
|
p = defaultAllocator.resize(p, 10);
|
||||||
|
assert(p.length == 10);
|
||||||
|
|
||||||
|
p = defaultAllocator.resize(p, 0);
|
||||||
|
assert(p is null);
|
||||||
|
}
|
||||||
|
|
||||||
|
/*
|
||||||
|
* Destroys the object.
|
||||||
|
* Returns the memory should be freed.
|
||||||
|
*/
|
||||||
|
package(tanya) void[] finalize(T)(ref T* p)
|
||||||
|
{
|
||||||
|
static if (hasElaborateDestructor!T)
|
||||||
|
{
|
||||||
|
destroy(*p);
|
||||||
|
}
|
||||||
|
return (cast(void*) p)[0 .. T.sizeof];
|
||||||
|
}
|
||||||
|
|
||||||
|
package(tanya) void[] finalize(T)(ref T p)
|
||||||
if (is(T == class) || is(T == interface))
|
if (is(T == class) || is(T == interface))
|
||||||
{
|
{
|
||||||
|
if (p is null)
|
||||||
|
{
|
||||||
|
return null;
|
||||||
|
}
|
||||||
static if (is(T == interface))
|
static if (is(T == interface))
|
||||||
{
|
{
|
||||||
|
version(Windows)
|
||||||
|
{
|
||||||
|
import core.sys.windows.unknwn : IUnknown;
|
||||||
|
static assert(!is(T : IUnknown), "COM interfaces can't be destroyed in "
|
||||||
|
~ __PRETTY_FUNCTION__);
|
||||||
|
}
|
||||||
auto ob = cast(Object) p;
|
auto ob = cast(Object) p;
|
||||||
}
|
}
|
||||||
else
|
else
|
||||||
{
|
{
|
||||||
alias ob = p;
|
alias ob = p;
|
||||||
}
|
}
|
||||||
auto pp = cast(void*) ob;
|
auto ptr = cast(void*) ob;
|
||||||
auto ppv = cast(void**) pp;
|
auto support = ptr[0 .. typeid(ob).initializer.length];
|
||||||
if (!pp || !*ppv)
|
|
||||||
|
auto ppv = cast(void**) ptr;
|
||||||
|
if (!*ppv)
|
||||||
{
|
{
|
||||||
return;
|
return null;
|
||||||
}
|
}
|
||||||
auto support = (cast(void*) ob)[0 .. typeid(ob).initializer.length];
|
|
||||||
auto pc = cast(ClassInfo*) *ppv;
|
auto pc = cast(ClassInfo*) *ppv;
|
||||||
|
scope (exit)
|
||||||
|
{
|
||||||
|
*ppv = null;
|
||||||
|
}
|
||||||
|
|
||||||
auto c = *pc;
|
auto c = *pc;
|
||||||
do
|
do
|
||||||
{
|
{
|
||||||
|
// Assume the destructor is @nogc. Leave it nothrow since the destructor
|
||||||
|
// shouldn't throw and if it does, it is an error anyway.
|
||||||
if (c.destructor)
|
if (c.destructor)
|
||||||
{
|
{
|
||||||
(cast(void function(Object)) c.destructor)(ob);
|
alias DtorType = void function(Object) pure nothrow @safe @nogc;
|
||||||
|
(cast(DtorType) c.destructor)(ob);
|
||||||
}
|
}
|
||||||
} while ((c = c.base) !is null);
|
}
|
||||||
|
while ((c = c.base) !is null);
|
||||||
|
|
||||||
// Take care of monitors for synchronized blocks
|
if (ppv[1]) // if monitor is not null
|
||||||
if (ppv[1])
|
|
||||||
{
|
{
|
||||||
shared(Monitor)* m = atomicLoad!(MemoryOrder.acq)(ob.monitor);
|
_d_monitordelete(cast(Object) ptr, true);
|
||||||
if (m !is null)
|
|
||||||
{
|
|
||||||
auto mc = cast(Monitor*) m;
|
|
||||||
if (!atomicOp!("-=")(m.refs, cast(size_t) 1))
|
|
||||||
{
|
|
||||||
foreach (v; mc.devt)
|
|
||||||
{
|
|
||||||
if (v)
|
|
||||||
{
|
|
||||||
v(ob);
|
|
||||||
}
|
}
|
||||||
}
|
return support;
|
||||||
if (mc.devt.ptr)
|
}
|
||||||
{
|
|
||||||
free(mc.devt.ptr);
|
|
||||||
}
|
|
||||||
destroyMutex(&mc.mtx);
|
|
||||||
free(mc);
|
|
||||||
atomicStore!(MemoryOrder.rel)(ob.monitor, null);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
*ppv = null;
|
|
||||||
|
|
||||||
allocator.deallocate(support);
|
package(tanya) void[] finalize(T)(ref T[] p)
|
||||||
|
{
|
||||||
|
static if (hasElaborateDestructor!(typeof(p[0])))
|
||||||
|
{
|
||||||
|
p.each!((ref e) => destroy(e));
|
||||||
|
}
|
||||||
|
return p;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Destroys and deallocates $(D_PARAM p) of type $(D_PARAM T).
|
||||||
|
* It is assumed the respective entities had been allocated with the same
|
||||||
|
* allocator.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Type of $(D_PARAM p).
|
||||||
|
* allocator = Allocator the $(D_PARAM p) was allocated with.
|
||||||
|
* p = Object or array to be destroyed.
|
||||||
|
*/
|
||||||
|
void dispose(T)(shared Allocator allocator, auto ref T p)
|
||||||
|
{
|
||||||
|
() @trusted { allocator.deallocate(finalize(p)); }();
|
||||||
p = null;
|
p = null;
|
||||||
}
|
}
|
||||||
|
|
||||||
/// Ditto.
|
private unittest
|
||||||
void finalize(A, T)(auto ref A allocator, ref T *p)
|
|
||||||
if (is(T == struct))
|
|
||||||
{
|
{
|
||||||
if (p is null)
|
struct S
|
||||||
{
|
{
|
||||||
return;
|
~this()
|
||||||
}
|
|
||||||
static if (hasElaborateDestructor!T)
|
|
||||||
{
|
{
|
||||||
*p.__xdtor();
|
|
||||||
}
|
}
|
||||||
allocator.deallocate((cast(void*)p)[0 .. T.sizeof]);
|
}
|
||||||
p = null;
|
auto p = cast(S[]) defaultAllocator.allocate(S.sizeof);
|
||||||
|
|
||||||
|
defaultAllocator.dispose(p);
|
||||||
}
|
}
|
||||||
|
|
||||||
/// Ditto.
|
// Works with interfaces.
|
||||||
void finalize(A, T)(auto ref A allocator, ref T[] p)
|
private pure unittest
|
||||||
{
|
{
|
||||||
static if (hasElaborateDestructor!T)
|
interface I
|
||||||
{
|
{
|
||||||
foreach (ref e; p)
|
}
|
||||||
|
class C : I
|
||||||
{
|
{
|
||||||
finalize(allocator, e);
|
|
||||||
}
|
}
|
||||||
}
|
auto c = defaultAllocator.make!C();
|
||||||
allocator.deallocate(p);
|
I i = c;
|
||||||
p = null;
|
|
||||||
|
defaultAllocator.dispose(i);
|
||||||
|
defaultAllocator.dispose(i);
|
||||||
}
|
}
|
||||||
|
|
||||||
bool resizeArray(T, A)(auto ref A allocator, ref T[] array, in size_t length)
|
/**
|
||||||
@trusted
|
* Constructs a new class instance of type $(D_PARAM T) using $(D_PARAM args)
|
||||||
|
* as the parameter list for the constructor of $(D_PARAM T).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Class type.
|
||||||
|
* A = Types of the arguments to the constructor of $(D_PARAM T).
|
||||||
|
* allocator = Allocator.
|
||||||
|
* args = Constructor arguments of $(D_PARAM T).
|
||||||
|
*
|
||||||
|
* Returns: Newly created $(D_PSYMBOL T).
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE allocator !is null)
|
||||||
|
*/
|
||||||
|
T make(T, A...)(shared Allocator allocator, auto ref A args)
|
||||||
|
if (is(T == class))
|
||||||
|
in
|
||||||
{
|
{
|
||||||
if (length == array.length)
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
T ret;
|
||||||
|
const size = stateSize!T;
|
||||||
|
|
||||||
|
auto mem = (() @trusted => allocator.allocate(size))();
|
||||||
|
if (mem is null)
|
||||||
{
|
{
|
||||||
return true;
|
onOutOfMemoryError();
|
||||||
}
|
}
|
||||||
if (array is null && length > 0)
|
scope (failure)
|
||||||
{
|
{
|
||||||
array = makeArray!T(allocator, length);
|
() @trusted { allocator.deallocate(mem); }();
|
||||||
return array !is null;
|
|
||||||
}
|
}
|
||||||
if (length == 0)
|
|
||||||
{
|
ret = emplace!T(mem[0 .. size], args);
|
||||||
finalize(allocator, array);
|
|
||||||
return true;
|
return ret;
|
||||||
}
|
|
||||||
void[] buf = array;
|
|
||||||
if (!allocator.reallocate(buf, length * T.sizeof))
|
|
||||||
{
|
|
||||||
return false;
|
|
||||||
}
|
|
||||||
array = cast(T[]) buf;
|
|
||||||
return true;
|
|
||||||
}
|
}
|
||||||
|
|
||||||
enum bool isFinalizable(T) = is(T == class) || is(T == interface)
|
/**
|
||||||
|| hasElaborateDestructor!T || isDynamicArray!T;
|
* Constructs a value object of type $(D_PARAM T) using $(D_PARAM args)
|
||||||
|
* as the parameter list for the constructor of $(D_PARAM T) and returns a
|
||||||
|
* pointer to the new object.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Object type.
|
||||||
|
* A = Types of the arguments to the constructor of $(D_PARAM T).
|
||||||
|
* allocator = Allocator.
|
||||||
|
* args = Constructor arguments of $(D_PARAM T).
|
||||||
|
*
|
||||||
|
* Returns: Pointer to the created object.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE allocator !is null)
|
||||||
|
*/
|
||||||
|
T* make(T, A...)(shared Allocator allocator, auto ref A args)
|
||||||
|
if (!is(T == interface)
|
||||||
|
&& !is(T == class)
|
||||||
|
&& !isAssociativeArray!T
|
||||||
|
&& !isArray!T)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
typeof(return) ret;
|
||||||
|
const size = stateSize!T;
|
||||||
|
|
||||||
private Allocator _defaultAllocator;
|
auto mem = (() @trusted => allocator.allocate(size))();
|
||||||
|
if (mem is null)
|
||||||
|
{
|
||||||
|
onOutOfMemoryError();
|
||||||
|
}
|
||||||
|
scope (failure)
|
||||||
|
{
|
||||||
|
() @trusted { allocator.deallocate(mem); }();
|
||||||
|
}
|
||||||
|
|
||||||
|
auto ptr = (() @trusted => (cast(T*) mem[0 .. size].ptr))();
|
||||||
|
ret = emplace!T(ptr, args);
|
||||||
|
|
||||||
|
return ret;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
int* i = defaultAllocator.make!int(5);
|
||||||
|
assert(*i == 5);
|
||||||
|
defaultAllocator.dispose(i);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Constructs a new array with $(D_PARAM size) elements.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Array type.
|
||||||
|
* allocator = Allocator.
|
||||||
|
* size = Array size.
|
||||||
|
*
|
||||||
|
* Returns: Newly created array.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE allocator !is null
|
||||||
|
* && n <= size_t.max / ElementType!T.sizeof)
|
||||||
|
*/
|
||||||
|
T make(T)(shared Allocator allocator, const size_t n)
|
||||||
|
if (isArray!T)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
assert(n <= size_t.max / ElementType!T.sizeof);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
auto ret = allocator.resize!(ElementType!T)(null, n);
|
||||||
|
ret.uninitializedFill(ElementType!T.init);
|
||||||
|
return ret;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
int[] i = defaultAllocator.make!(int[])(2);
|
||||||
|
assert(i.length == 2);
|
||||||
|
assert(i[0] == int.init && i[1] == int.init);
|
||||||
|
defaultAllocator.dispose(i);
|
||||||
|
}
|
||||||
|
923
source/tanya/memory/smartref.d
Normal file
923
source/tanya/memory/smartref.d
Normal file
@ -0,0 +1,923 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Smart pointers.
|
||||||
|
*
|
||||||
|
* A smart pointer is an object that wraps a raw pointer or a reference
|
||||||
|
* (class, array) to manage its lifetime.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.memory.smartref;
|
||||||
|
|
||||||
|
import core.exception;
|
||||||
|
import std.algorithm.comparison;
|
||||||
|
import std.algorithm.mutation;
|
||||||
|
import std.conv;
|
||||||
|
import std.range;
|
||||||
|
import std.traits;
|
||||||
|
import tanya.memory;
|
||||||
|
|
||||||
|
private template Payload(T)
|
||||||
|
{
|
||||||
|
static if (is(T == class) || is(T == interface) || isArray!T)
|
||||||
|
{
|
||||||
|
alias Payload = T;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
alias Payload = T*;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private final class RefCountedStore(T)
|
||||||
|
{
|
||||||
|
T payload;
|
||||||
|
size_t counter = 1;
|
||||||
|
|
||||||
|
size_t opUnary(string op)()
|
||||||
|
if (op == "--" || op == "++")
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(this.counter > 0);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
mixin("return " ~ op ~ "counter;");
|
||||||
|
}
|
||||||
|
|
||||||
|
int opCmp(const size_t counter)
|
||||||
|
{
|
||||||
|
if (this.counter > counter)
|
||||||
|
{
|
||||||
|
return 1;
|
||||||
|
}
|
||||||
|
else if (this.counter < counter)
|
||||||
|
{
|
||||||
|
return -1;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
return 0;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private void separateDeleter(T)(RefCountedStore!T storage,
|
||||||
|
shared Allocator allocator)
|
||||||
|
{
|
||||||
|
allocator.dispose(storage.payload);
|
||||||
|
allocator.dispose(storage);
|
||||||
|
}
|
||||||
|
|
||||||
|
private void unifiedDeleter(T)(RefCountedStore!T storage,
|
||||||
|
shared Allocator allocator)
|
||||||
|
{
|
||||||
|
auto ptr1 = finalize(storage);
|
||||||
|
auto ptr2 = finalize(storage.payload);
|
||||||
|
allocator.deallocate(ptr1.ptr[0 .. ptr1.length + ptr2.length]);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Reference-counted object containing a $(D_PARAM T) value as payload.
|
||||||
|
* $(D_PSYMBOL RefCounted) keeps track of all references of an object, and
|
||||||
|
* when the reference count goes down to zero, frees the underlying store.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Type of the reference-counted value.
|
||||||
|
*/
|
||||||
|
struct RefCounted(T)
|
||||||
|
{
|
||||||
|
private alias Storage = RefCountedStore!(Payload!T);
|
||||||
|
|
||||||
|
private Storage storage;
|
||||||
|
private void function(Storage storage,
|
||||||
|
shared Allocator allocator) @nogc deleter;
|
||||||
|
|
||||||
|
invariant
|
||||||
|
{
|
||||||
|
assert(this.storage is null || this.allocator_ !is null);
|
||||||
|
assert(this.storage is null || this.deleter !is null);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Takes ownership over $(D_PARAM value), setting the counter to 1.
|
||||||
|
* $(D_PARAM value) may be a pointer, an object or a dynamic array.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* value = Value whose ownership is taken over.
|
||||||
|
* allocator = Allocator used to destroy the $(D_PARAM value) and to
|
||||||
|
* allocate/deallocate internal storage.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE allocator !is null)
|
||||||
|
*/
|
||||||
|
this(Payload!T value, shared Allocator allocator = defaultAllocator)
|
||||||
|
{
|
||||||
|
this(allocator);
|
||||||
|
this.storage = allocator.make!Storage();
|
||||||
|
this.deleter = &separateDeleter!(Payload!T);
|
||||||
|
|
||||||
|
this.storage.payload = value;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
this(shared Allocator allocator)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
this.allocator_ = allocator;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Increases the reference counter by one.
|
||||||
|
*/
|
||||||
|
this(this)
|
||||||
|
{
|
||||||
|
if (count != 0)
|
||||||
|
{
|
||||||
|
++this.storage;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Decreases the reference counter by one.
|
||||||
|
*
|
||||||
|
* If the counter reaches 0, destroys the owned object.
|
||||||
|
*/
|
||||||
|
~this()
|
||||||
|
{
|
||||||
|
if (this.storage !is null && !(this.storage > 0 && --this.storage))
|
||||||
|
{
|
||||||
|
deleter(this.storage, allocator);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Takes ownership over $(D_PARAM rhs). Initializes this
|
||||||
|
* $(D_PSYMBOL RefCounted) if needed.
|
||||||
|
*
|
||||||
|
* If it is the last reference of the previously owned object,
|
||||||
|
* it will be destroyed.
|
||||||
|
*
|
||||||
|
* To reset $(D_PSYMBOL RefCounted) assign $(D_KEYWORD null).
|
||||||
|
*
|
||||||
|
* If the allocator wasn't set before, $(D_PSYMBOL defaultAllocator) will
|
||||||
|
* be used. If you need a different allocator, create a new
|
||||||
|
* $(D_PSYMBOL RefCounted) and assign it.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* rhs = New object.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD this).
|
||||||
|
*/
|
||||||
|
ref typeof(this) opAssign(Payload!T rhs)
|
||||||
|
{
|
||||||
|
if (this.storage is null)
|
||||||
|
{
|
||||||
|
this.storage = allocator.make!Storage();
|
||||||
|
this.deleter = &separateDeleter!(Payload!T);
|
||||||
|
}
|
||||||
|
else if (this.storage > 1)
|
||||||
|
{
|
||||||
|
--this.storage;
|
||||||
|
this.storage = allocator.make!Storage();
|
||||||
|
this.deleter = &separateDeleter!(Payload!T);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
finalize(this.storage.payload);
|
||||||
|
this.storage.payload = Payload!T.init;
|
||||||
|
}
|
||||||
|
this.storage.payload = rhs;
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
auto rc = defaultAllocator.refCounted!int(5);
|
||||||
|
rc = defaultAllocator.make!int(7);
|
||||||
|
assert(*rc == 7);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
ref typeof(this) opAssign(typeof(null))
|
||||||
|
{
|
||||||
|
if (this.storage is null)
|
||||||
|
{
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
else if (this.storage > 1)
|
||||||
|
{
|
||||||
|
--this.storage;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
deleter(this.storage, allocator);
|
||||||
|
}
|
||||||
|
this.storage = null;
|
||||||
|
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
RefCounted!int rc;
|
||||||
|
assert(!rc.isInitialized);
|
||||||
|
rc = null;
|
||||||
|
assert(!rc.isInitialized);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
ref typeof(this) opAssign(typeof(this) rhs)
|
||||||
|
{
|
||||||
|
swap(this.allocator_, rhs.allocator_);
|
||||||
|
swap(this.storage, rhs.storage);
|
||||||
|
swap(this.deleter, rhs.deleter);
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Reference to the owned object.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE cound > 0).
|
||||||
|
*/
|
||||||
|
inout(Payload!T) get() inout
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(count > 0, "Attempted to access an uninitialized reference");
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
return this.storage.payload;
|
||||||
|
}
|
||||||
|
|
||||||
|
version (D_Ddoc)
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Dereferences the pointer. It is defined only for pointers, not for
|
||||||
|
* reference types like classes, that can be accessed directly.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* op = Operation.
|
||||||
|
*
|
||||||
|
* Returns: Reference to the pointed value.
|
||||||
|
*/
|
||||||
|
ref inout(T) opUnary(string op)() inout
|
||||||
|
if (op == "*");
|
||||||
|
}
|
||||||
|
else static if (isPointer!(Payload!T))
|
||||||
|
{
|
||||||
|
ref inout(T) opUnary(string op)() inout
|
||||||
|
if (op == "*")
|
||||||
|
{
|
||||||
|
return *this.storage.payload;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Whether this $(D_PSYMBOL RefCounted) already has an internal
|
||||||
|
* storage.
|
||||||
|
*/
|
||||||
|
@property bool isInitialized() const
|
||||||
|
{
|
||||||
|
return this.storage !is null;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: The number of $(D_PSYMBOL RefCounted) instances that share
|
||||||
|
* ownership over the same pointer (including $(D_KEYWORD this)).
|
||||||
|
* If this $(D_PSYMBOL RefCounted) isn't initialized, returns `0`.
|
||||||
|
*/
|
||||||
|
@property size_t count() const
|
||||||
|
{
|
||||||
|
return this.storage is null ? 0 : this.storage.counter;
|
||||||
|
}
|
||||||
|
|
||||||
|
mixin DefaultAllocator;
|
||||||
|
alias get this;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
auto rc = RefCounted!int(defaultAllocator.make!int(5), defaultAllocator);
|
||||||
|
auto val = rc.get();
|
||||||
|
|
||||||
|
*val = 8;
|
||||||
|
assert(*rc.storage.payload == 8);
|
||||||
|
|
||||||
|
val = null;
|
||||||
|
assert(rc.storage.payload !is null);
|
||||||
|
assert(*rc.storage.payload == 8);
|
||||||
|
|
||||||
|
*rc = 9;
|
||||||
|
assert(*rc.storage.payload == 9);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
auto rc = defaultAllocator.refCounted!int(5);
|
||||||
|
|
||||||
|
void func(RefCounted!int param) @nogc
|
||||||
|
{
|
||||||
|
assert(param.count == 2);
|
||||||
|
param = defaultAllocator.make!int(7);
|
||||||
|
assert(param.count == 1);
|
||||||
|
assert(*param == 7);
|
||||||
|
}
|
||||||
|
func(rc);
|
||||||
|
assert(rc.count == 1);
|
||||||
|
assert(*rc == 5);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
RefCounted!int rc;
|
||||||
|
|
||||||
|
void func(RefCounted!int param) @nogc
|
||||||
|
{
|
||||||
|
assert(param.count == 0);
|
||||||
|
param = defaultAllocator.make!int(7);
|
||||||
|
assert(param.count == 1);
|
||||||
|
assert(*param == 7);
|
||||||
|
}
|
||||||
|
func(rc);
|
||||||
|
assert(rc.count == 0);
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
RefCounted!int rc1, rc2;
|
||||||
|
static assert(is(typeof(rc1 = rc2)));
|
||||||
|
}
|
||||||
|
|
||||||
|
version (unittest)
|
||||||
|
{
|
||||||
|
private class A
|
||||||
|
{
|
||||||
|
uint *destroyed;
|
||||||
|
|
||||||
|
this(ref uint destroyed) @nogc
|
||||||
|
{
|
||||||
|
this.destroyed = &destroyed;
|
||||||
|
}
|
||||||
|
|
||||||
|
~this() @nogc
|
||||||
|
{
|
||||||
|
++(*destroyed);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private struct B
|
||||||
|
{
|
||||||
|
int prop;
|
||||||
|
@disable this();
|
||||||
|
this(int param1) @nogc
|
||||||
|
{
|
||||||
|
prop = param1;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
uint destroyed;
|
||||||
|
auto a = defaultAllocator.make!A(destroyed);
|
||||||
|
|
||||||
|
assert(destroyed == 0);
|
||||||
|
{
|
||||||
|
auto rc = RefCounted!A(a, defaultAllocator);
|
||||||
|
assert(rc.count == 1);
|
||||||
|
|
||||||
|
void func(RefCounted!A rc) @nogc
|
||||||
|
{
|
||||||
|
assert(rc.count == 2);
|
||||||
|
}
|
||||||
|
func(rc);
|
||||||
|
|
||||||
|
assert(rc.count == 1);
|
||||||
|
}
|
||||||
|
assert(destroyed == 1);
|
||||||
|
|
||||||
|
RefCounted!int rc;
|
||||||
|
assert(rc.count == 0);
|
||||||
|
rc = defaultAllocator.make!int(8);
|
||||||
|
assert(rc.count == 1);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
auto rc = RefCounted!int(defaultAllocator);
|
||||||
|
assert(!rc.isInitialized);
|
||||||
|
assert(rc.allocator is defaultAllocator);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
auto rc = defaultAllocator.refCounted!int(5);
|
||||||
|
assert(rc.count == 1);
|
||||||
|
|
||||||
|
void func(RefCounted!int rc) @nogc
|
||||||
|
{
|
||||||
|
assert(rc.count == 2);
|
||||||
|
rc = null;
|
||||||
|
assert(!rc.isInitialized);
|
||||||
|
assert(rc.count == 0);
|
||||||
|
}
|
||||||
|
|
||||||
|
assert(rc.count == 1);
|
||||||
|
func(rc);
|
||||||
|
assert(rc.count == 1);
|
||||||
|
|
||||||
|
rc = null;
|
||||||
|
assert(!rc.isInitialized);
|
||||||
|
assert(rc.count == 0);
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
auto rc = defaultAllocator.refCounted!int(5);
|
||||||
|
assert(*rc == 5);
|
||||||
|
|
||||||
|
void func(RefCounted!int rc) @nogc
|
||||||
|
{
|
||||||
|
assert(rc.count == 2);
|
||||||
|
rc = defaultAllocator.refCounted!int(4);
|
||||||
|
assert(*rc == 4);
|
||||||
|
assert(rc.count == 1);
|
||||||
|
}
|
||||||
|
func(rc);
|
||||||
|
assert(*rc == 5);
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
static assert(is(typeof(RefCounted!int.storage.payload) == int*));
|
||||||
|
static assert(is(typeof(RefCounted!A.storage.payload) == A));
|
||||||
|
|
||||||
|
static assert(is(RefCounted!B));
|
||||||
|
static assert(is(RefCounted!A));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Constructs a new object of type $(D_PARAM T) and wraps it in a
|
||||||
|
* $(D_PSYMBOL RefCounted) using $(D_PARAM args) as the parameter list for
|
||||||
|
* the constructor of $(D_PARAM T).
|
||||||
|
*
|
||||||
|
* This function is more efficient than the using of $(D_PSYMBOL RefCounted)
|
||||||
|
* directly, since it allocates only ones (the internal storage and the
|
||||||
|
* object).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Type of the constructed object.
|
||||||
|
* A = Types of the arguments to the constructor of $(D_PARAM T).
|
||||||
|
* allocator = Allocator.
|
||||||
|
* args = Constructor arguments of $(D_PARAM T).
|
||||||
|
*
|
||||||
|
* Returns: Newly created $(D_PSYMBOL RefCounted!T).
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE allocator !is null)
|
||||||
|
*/
|
||||||
|
RefCounted!T refCounted(T, A...)(shared Allocator allocator, auto ref A args)
|
||||||
|
if (!is(T == interface) && !isAbstractClass!T
|
||||||
|
&& !isAssociativeArray!T && !isArray!T)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
auto rc = typeof(return)(allocator);
|
||||||
|
|
||||||
|
const storageSize = alignedSize(stateSize!(RefCounted!T.Storage));
|
||||||
|
const size = alignedSize(stateSize!T + storageSize);
|
||||||
|
|
||||||
|
auto mem = (() @trusted => allocator.allocate(size))();
|
||||||
|
if (mem is null)
|
||||||
|
{
|
||||||
|
onOutOfMemoryError();
|
||||||
|
}
|
||||||
|
scope (failure)
|
||||||
|
{
|
||||||
|
() @trusted { allocator.deallocate(mem); }();
|
||||||
|
}
|
||||||
|
rc.storage = emplace!((RefCounted!T.Storage))(mem[0 .. storageSize]);
|
||||||
|
|
||||||
|
static if (is(T == class))
|
||||||
|
{
|
||||||
|
rc.storage.payload = emplace!T(mem[storageSize .. $], args);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
auto ptr = (() @trusted => (cast(T*) mem[storageSize .. $].ptr))();
|
||||||
|
rc.storage.payload = emplace!T(ptr, args);
|
||||||
|
}
|
||||||
|
rc.deleter = &unifiedDeleter!(Payload!T);
|
||||||
|
return rc;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Constructs a new array with $(D_PARAM size) elements and wraps it in a
|
||||||
|
* $(D_PSYMBOL RefCounted).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Array type.
|
||||||
|
* size = Array size.
|
||||||
|
* allocator = Allocator.
|
||||||
|
*
|
||||||
|
* Returns: Newly created $(D_PSYMBOL RefCounted!T).
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE allocator !is null
|
||||||
|
* && size <= size_t.max / ElementType!T.sizeof)
|
||||||
|
*/
|
||||||
|
RefCounted!T refCounted(T)(shared Allocator allocator, const size_t size)
|
||||||
|
@trusted
|
||||||
|
if (isArray!T)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
assert(size <= size_t.max / ElementType!T.sizeof);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
return RefCounted!T(allocator.make!T(size), allocator);
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
auto rc = defaultAllocator.refCounted!int(5);
|
||||||
|
assert(rc.count == 1);
|
||||||
|
|
||||||
|
void func(RefCounted!int param) @nogc
|
||||||
|
{
|
||||||
|
if (param.count == 2)
|
||||||
|
{
|
||||||
|
func(param);
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
assert(param.count == 3);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
func(rc);
|
||||||
|
|
||||||
|
assert(rc.count == 1);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
struct E
|
||||||
|
{
|
||||||
|
}
|
||||||
|
auto b = defaultAllocator.refCounted!B(15);
|
||||||
|
static assert(is(typeof(b.storage.payload) == B*));
|
||||||
|
static assert(is(typeof(b.prop) == int));
|
||||||
|
static assert(!is(typeof(defaultAllocator.refCounted!B())));
|
||||||
|
|
||||||
|
static assert(is(typeof(defaultAllocator.refCounted!E())));
|
||||||
|
static assert(!is(typeof(defaultAllocator.refCounted!E(5))));
|
||||||
|
{
|
||||||
|
auto rc = defaultAllocator.refCounted!B(3);
|
||||||
|
assert(rc.get().prop == 3);
|
||||||
|
}
|
||||||
|
{
|
||||||
|
auto rc = defaultAllocator.refCounted!E();
|
||||||
|
assert(rc.count);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
auto rc = defaultAllocator.refCounted!(int[])(5);
|
||||||
|
assert(rc.length == 5);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
auto p1 = defaultAllocator.make!int(5);
|
||||||
|
auto p2 = p1;
|
||||||
|
auto rc = RefCounted!int(p1, defaultAllocator);
|
||||||
|
assert(rc.get() is p2);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
static bool destroyed = false;
|
||||||
|
|
||||||
|
struct F
|
||||||
|
{
|
||||||
|
~this() @nogc
|
||||||
|
{
|
||||||
|
destroyed = true;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
{
|
||||||
|
auto rc = defaultAllocator.refCounted!F();
|
||||||
|
}
|
||||||
|
assert(destroyed);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* $(D_PSYMBOL Unique) stores an object that gets destroyed at the end of its scope.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Value type.
|
||||||
|
*/
|
||||||
|
struct Unique(T)
|
||||||
|
{
|
||||||
|
private Payload!T payload;
|
||||||
|
|
||||||
|
invariant
|
||||||
|
{
|
||||||
|
assert(payload is null || allocator_ !is null);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Takes ownership over $(D_PARAM value), setting the counter to 1.
|
||||||
|
* $(D_PARAM value) may be a pointer, an object or a dynamic array.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* value = Value whose ownership is taken over.
|
||||||
|
* allocator = Allocator used to destroy the $(D_PARAM value) and to
|
||||||
|
* allocate/deallocate internal storage.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE allocator !is null)
|
||||||
|
*/
|
||||||
|
this(Payload!T value, shared Allocator allocator = defaultAllocator)
|
||||||
|
{
|
||||||
|
this(allocator);
|
||||||
|
this.payload = value;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
this(shared Allocator allocator)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
this.allocator_ = allocator;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* $(D_PSYMBOL Unique) is noncopyable.
|
||||||
|
*/
|
||||||
|
@disable this(this);
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Destroys the owned object.
|
||||||
|
*/
|
||||||
|
~this()
|
||||||
|
{
|
||||||
|
allocator.dispose(this.payload);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Initialized this $(D_PARAM Unique) and takes ownership over
|
||||||
|
* $(D_PARAM rhs).
|
||||||
|
*
|
||||||
|
* To reset $(D_PSYMBOL Unique) assign $(D_KEYWORD null).
|
||||||
|
*
|
||||||
|
* If the allocator wasn't set before, $(D_PSYMBOL defaultAllocator) will
|
||||||
|
* be used. If you need a different allocator, create a new
|
||||||
|
* $(D_PSYMBOL Unique) and assign it.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* rhs = New object.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD this).
|
||||||
|
*/
|
||||||
|
ref typeof(this) opAssign(Payload!T rhs)
|
||||||
|
{
|
||||||
|
allocator.dispose(this.payload);
|
||||||
|
this.payload = rhs;
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
ref typeof(this) opAssign(typeof(null))
|
||||||
|
{
|
||||||
|
allocator.dispose(this.payload);
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
ref typeof(this) opAssign(typeof(this) rhs)
|
||||||
|
{
|
||||||
|
swap(this.allocator_, rhs.allocator_);
|
||||||
|
swap(this.payload, rhs.payload);
|
||||||
|
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc unittest
|
||||||
|
{
|
||||||
|
auto rc = defaultAllocator.unique!int(5);
|
||||||
|
rc = defaultAllocator.make!int(7);
|
||||||
|
assert(*rc == 7);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Reference to the owned object.
|
||||||
|
*/
|
||||||
|
inout(Payload!T) get() inout
|
||||||
|
{
|
||||||
|
return this.payload;
|
||||||
|
}
|
||||||
|
|
||||||
|
version (D_Ddoc)
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Dereferences the pointer. It is defined only for pointers, not for
|
||||||
|
* reference types like classes, that can be accessed directly.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* op = Operation.
|
||||||
|
*
|
||||||
|
* Returns: Reference to the pointed value.
|
||||||
|
*/
|
||||||
|
ref inout(T) opUnary(string op)() inout
|
||||||
|
if (op == "*");
|
||||||
|
}
|
||||||
|
else static if (isPointer!(Payload!T))
|
||||||
|
{
|
||||||
|
ref inout(T) opUnary(string op)() inout
|
||||||
|
if (op == "*")
|
||||||
|
{
|
||||||
|
return *this.payload;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Whether this $(D_PSYMBOL Unique) holds some value.
|
||||||
|
*/
|
||||||
|
@property bool isInitialized() const
|
||||||
|
{
|
||||||
|
return this.payload !is null;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc unittest
|
||||||
|
{
|
||||||
|
Unique!int u;
|
||||||
|
assert(!u.isInitialized);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Sets the internal pointer to $(D_KEYWORD). The allocator isn't changed.
|
||||||
|
*
|
||||||
|
* Returns: Reference to the owned object.
|
||||||
|
*/
|
||||||
|
Payload!T release()
|
||||||
|
{
|
||||||
|
auto payload = this.payload;
|
||||||
|
this.payload = null;
|
||||||
|
return payload;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc unittest
|
||||||
|
{
|
||||||
|
auto u = defaultAllocator.unique!int(5);
|
||||||
|
assert(u.isInitialized);
|
||||||
|
|
||||||
|
auto i = u.release();
|
||||||
|
assert(*i == 5);
|
||||||
|
assert(!u.isInitialized);
|
||||||
|
}
|
||||||
|
|
||||||
|
mixin DefaultAllocator;
|
||||||
|
alias get this;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc unittest
|
||||||
|
{
|
||||||
|
auto p = defaultAllocator.make!int(5);
|
||||||
|
auto s = Unique!int(p, defaultAllocator);
|
||||||
|
assert(*s == 5);
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc unittest
|
||||||
|
{
|
||||||
|
static bool destroyed = false;
|
||||||
|
|
||||||
|
struct F
|
||||||
|
{
|
||||||
|
~this() @nogc
|
||||||
|
{
|
||||||
|
destroyed = true;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
{
|
||||||
|
auto s = Unique!F(defaultAllocator.make!F(), defaultAllocator);
|
||||||
|
}
|
||||||
|
assert(destroyed);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Constructs a new object of type $(D_PARAM T) and wraps it in a
|
||||||
|
* $(D_PSYMBOL Unique) using $(D_PARAM args) as the parameter list for
|
||||||
|
* the constructor of $(D_PARAM T).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Type of the constructed object.
|
||||||
|
* A = Types of the arguments to the constructor of $(D_PARAM T).
|
||||||
|
* allocator = Allocator.
|
||||||
|
* args = Constructor arguments of $(D_PARAM T).
|
||||||
|
*
|
||||||
|
* Returns: Newly created $(D_PSYMBOL Unique!T).
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE allocator !is null)
|
||||||
|
*/
|
||||||
|
Unique!T unique(T, A...)(shared Allocator allocator, auto ref A args)
|
||||||
|
if (!is(T == interface) && !isAbstractClass!T
|
||||||
|
&& !isAssociativeArray!T && !isArray!T)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
auto payload = allocator.make!(T, A)(args);
|
||||||
|
return Unique!T(payload, allocator);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Constructs a new array with $(D_PARAM size) elements and wraps it in a
|
||||||
|
* $(D_PSYMBOL Unique).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Array type.
|
||||||
|
* size = Array size.
|
||||||
|
* allocator = Allocator.
|
||||||
|
*
|
||||||
|
* Returns: Newly created $(D_PSYMBOL Unique!T).
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE allocator !is null
|
||||||
|
* && size <= size_t.max / ElementType!T.sizeof)
|
||||||
|
*/
|
||||||
|
Unique!T unique(T)(shared Allocator allocator, const size_t size)
|
||||||
|
@trusted
|
||||||
|
if (isArray!T)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(allocator !is null);
|
||||||
|
assert(size <= size_t.max / ElementType!T.sizeof);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
auto payload = allocator.resize!(ElementType!T)(null, size);
|
||||||
|
return Unique!T(payload, allocator);
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
static assert(is(typeof(defaultAllocator.unique!B(5))));
|
||||||
|
static assert(is(typeof(defaultAllocator.unique!(int[])(5))));
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
auto s = defaultAllocator.unique!int(5);
|
||||||
|
assert(*s == 5);
|
||||||
|
|
||||||
|
s = null;
|
||||||
|
assert(s is null);
|
||||||
|
}
|
||||||
|
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
auto s = defaultAllocator.unique!int(5);
|
||||||
|
assert(*s == 5);
|
||||||
|
|
||||||
|
s = defaultAllocator.unique!int(4);
|
||||||
|
assert(*s == 4);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
auto p1 = defaultAllocator.make!int(5);
|
||||||
|
auto p2 = p1;
|
||||||
|
|
||||||
|
auto rc = Unique!int(p1, defaultAllocator);
|
||||||
|
assert(rc.get() is p2);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
auto rc = Unique!int(defaultAllocator);
|
||||||
|
assert(rc.allocator is defaultAllocator);
|
||||||
|
}
|
@ -1,423 +0,0 @@
|
|||||||
/* This Source Code Form is subject to the terms of the Mozilla Public
|
|
||||||
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
|
||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Copyright: Eugene Wissner 2016.
|
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
|
||||||
* Mozilla Public License, v. 2.0).
|
|
||||||
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
|
||||||
*/
|
|
||||||
module tanya.memory.ullocator;
|
|
||||||
|
|
||||||
import tanya.memory.allocator;
|
|
||||||
|
|
||||||
@nogc:
|
|
||||||
|
|
||||||
version (Posix):
|
|
||||||
|
|
||||||
import core.sys.posix.sys.mman;
|
|
||||||
import core.sys.posix.unistd;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Allocator for Posix systems with mmap/munmap support.
|
|
||||||
*
|
|
||||||
* This allocator allocates memory in regions (multiple of 4 KB for example).
|
|
||||||
* Each region is then splitted in blocks. So it doesn't request the memory
|
|
||||||
* from the operating system on each call, but only if there are no large
|
|
||||||
* enought free blocks in the available regions.
|
|
||||||
* Deallocation works in the same way. Deallocation doesn't immediately
|
|
||||||
* gives the memory back to the operating system, but marks the appropriate
|
|
||||||
* block as free and only if all blocks in the region are free, the complet
|
|
||||||
* region is deallocated.
|
|
||||||
*
|
|
||||||
* ----------------------------------------------------------------------------
|
|
||||||
* | | | | | || | | |
|
|
||||||
* | |prev <----------- | || | | |
|
|
||||||
* | R | B | | B | || R | B | |
|
|
||||||
* | E | L | | L | next E | L | |
|
|
||||||
* | G | O | DATA | O | FREE ---> G | O | DATA |
|
|
||||||
* | I | C | | C | <--- I | C | |
|
|
||||||
* | O | K | | K | prev O | K | |
|
|
||||||
* | N | -----------> next| || N | | |
|
|
||||||
* | | | | | || | | |
|
|
||||||
* --------------------------------------------------- ------------------------
|
|
||||||
*/
|
|
||||||
class Ullocator : Allocator
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
@disable this();
|
|
||||||
|
|
||||||
shared static this() @safe nothrow
|
|
||||||
{
|
|
||||||
pageSize = sysconf(_SC_PAGE_SIZE);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Allocates $(D_PARAM size) bytes of memory.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* size = Amount of memory to allocate.
|
|
||||||
*
|
|
||||||
* Returns: The pointer to the new allocated memory.
|
|
||||||
*/
|
|
||||||
void[] allocate(size_t size) @trusted nothrow
|
|
||||||
{
|
|
||||||
immutable dataSize = addAlignment(size);
|
|
||||||
|
|
||||||
void* data = findBlock(dataSize);
|
|
||||||
if (data is null)
|
|
||||||
{
|
|
||||||
data = initializeRegion(dataSize);
|
|
||||||
}
|
|
||||||
|
|
||||||
return data is null ? null : data[0..size];
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
auto p = Ullocator.instance.allocate(20);
|
|
||||||
|
|
||||||
assert(p);
|
|
||||||
|
|
||||||
Ullocator.instance.deallocate(p);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Search for a block large enough to keep $(D_PARAM size) and split it
|
|
||||||
* into two blocks if the block is too large.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* size = Minimum size the block should have.
|
|
||||||
*
|
|
||||||
* Returns: Data the block points to or $(D_KEYWORD null).
|
|
||||||
*/
|
|
||||||
private void* findBlock(size_t size) nothrow
|
|
||||||
{
|
|
||||||
Block block1;
|
|
||||||
RegionLoop: for (auto r = head; r !is null; r = r.next)
|
|
||||||
{
|
|
||||||
block1 = cast(Block) (cast(void*) r + regionEntrySize);
|
|
||||||
do
|
|
||||||
{
|
|
||||||
if (block1.free && block1.size >= size)
|
|
||||||
{
|
|
||||||
break RegionLoop;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
while ((block1 = block1.next) !is null);
|
|
||||||
}
|
|
||||||
if (block1 is null)
|
|
||||||
{
|
|
||||||
return null;
|
|
||||||
}
|
|
||||||
else if (block1.size >= size + alignment + blockEntrySize)
|
|
||||||
{ // Split the block if needed
|
|
||||||
Block block2 = cast(Block) (cast(void*) block1 + blockEntrySize + size);
|
|
||||||
block2.prev = block1;
|
|
||||||
if (block1.next is null)
|
|
||||||
{
|
|
||||||
block2.next = null;
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
block2.next = block1.next.next;
|
|
||||||
}
|
|
||||||
block1.next = block2;
|
|
||||||
|
|
||||||
block1.free = false;
|
|
||||||
block2.free = true;
|
|
||||||
|
|
||||||
block2.size = block1.size - blockEntrySize - size;
|
|
||||||
block1.size = size;
|
|
||||||
|
|
||||||
block2.region = block1.region;
|
|
||||||
++block1.region.blocks;
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
block1.free = false;
|
|
||||||
++block1.region.blocks;
|
|
||||||
}
|
|
||||||
return cast(void*) block1 + blockEntrySize;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Deallocates a memory block.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* p = A pointer to the memory block to be freed.
|
|
||||||
*
|
|
||||||
* Returns: Whether the deallocation was successful.
|
|
||||||
*/
|
|
||||||
bool deallocate(void[] p) @trusted nothrow
|
|
||||||
{
|
|
||||||
if (p is null)
|
|
||||||
{
|
|
||||||
return true;
|
|
||||||
}
|
|
||||||
|
|
||||||
Block block = cast(Block) (p.ptr - blockEntrySize);
|
|
||||||
if (block.region.blocks <= 1)
|
|
||||||
{
|
|
||||||
if (block.region.prev !is null)
|
|
||||||
{
|
|
||||||
block.region.prev.next = block.region.next;
|
|
||||||
}
|
|
||||||
else // Replace the list head. It is being deallocated
|
|
||||||
{
|
|
||||||
head = block.region.next;
|
|
||||||
}
|
|
||||||
if (block.region.next !is null)
|
|
||||||
{
|
|
||||||
block.region.next.prev = block.region.prev;
|
|
||||||
}
|
|
||||||
return munmap(block.region, block.region.size) == 0;
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
block.free = true;
|
|
||||||
--block.region.blocks;
|
|
||||||
return true;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
auto p = Ullocator.instance.allocate(20);
|
|
||||||
|
|
||||||
assert(Ullocator.instance.deallocate(p));
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Increases or decreases the size of a memory block.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* p = A pointer to the memory block.
|
|
||||||
* size = Size of the reallocated block.
|
|
||||||
*
|
|
||||||
* Returns: Whether the reallocation was successful.
|
|
||||||
*/
|
|
||||||
bool reallocate(ref void[] p, size_t size) @trusted nothrow
|
|
||||||
{
|
|
||||||
if (size == p.length)
|
|
||||||
{
|
|
||||||
return true;
|
|
||||||
}
|
|
||||||
|
|
||||||
auto reallocP = allocate(size);
|
|
||||||
if (reallocP is null)
|
|
||||||
{
|
|
||||||
return false;
|
|
||||||
}
|
|
||||||
|
|
||||||
if (p !is null)
|
|
||||||
{
|
|
||||||
if (size > p.length)
|
|
||||||
{
|
|
||||||
reallocP[0..p.length] = p[0..$];
|
|
||||||
}
|
|
||||||
else
|
|
||||||
{
|
|
||||||
reallocP[0..size] = p[0..size];
|
|
||||||
}
|
|
||||||
deallocate(p);
|
|
||||||
}
|
|
||||||
p = reallocP;
|
|
||||||
|
|
||||||
return true;
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
void[] p;
|
|
||||||
Ullocator.instance.reallocate(p, 10 * int.sizeof);
|
|
||||||
(cast(int[]) p)[7] = 123;
|
|
||||||
|
|
||||||
assert(p.length == 40);
|
|
||||||
|
|
||||||
Ullocator.instance.reallocate(p, 8 * int.sizeof);
|
|
||||||
|
|
||||||
assert(p.length == 32);
|
|
||||||
assert((cast(int[]) p)[7] == 123);
|
|
||||||
|
|
||||||
Ullocator.instance.reallocate(p, 20 * int.sizeof);
|
|
||||||
(cast(int[]) p)[15] = 8;
|
|
||||||
|
|
||||||
assert(p.length == 80);
|
|
||||||
assert((cast(int[]) p)[15] == 8);
|
|
||||||
assert((cast(int[]) p)[7] == 123);
|
|
||||||
|
|
||||||
Ullocator.instance.reallocate(p, 8 * int.sizeof);
|
|
||||||
|
|
||||||
assert(p.length == 32);
|
|
||||||
assert((cast(int[]) p)[7] == 123);
|
|
||||||
|
|
||||||
Ullocator.instance.deallocate(p);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Static allocator instance and initializer.
|
|
||||||
*
|
|
||||||
* Returns: The global $(D_PSYMBOL Allocator) instance.
|
|
||||||
*/
|
|
||||||
static @property Ullocator instance() @trusted nothrow
|
|
||||||
{
|
|
||||||
if (instance_ is null)
|
|
||||||
{
|
|
||||||
immutable instanceSize = addAlignment(__traits(classInstanceSize, Ullocator));
|
|
||||||
|
|
||||||
Region head; // Will become soon our region list head
|
|
||||||
void* data = initializeRegion(instanceSize, head);
|
|
||||||
|
|
||||||
if (data is null)
|
|
||||||
{
|
|
||||||
return null;
|
|
||||||
}
|
|
||||||
data[0..instanceSize] = typeid(Ullocator).initializer[];
|
|
||||||
instance_ = cast(Ullocator) data;
|
|
||||||
instance_.head = head;
|
|
||||||
}
|
|
||||||
return instance_;
|
|
||||||
}
|
|
||||||
|
|
||||||
///
|
|
||||||
unittest
|
|
||||||
{
|
|
||||||
assert(instance is instance);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Initializes a region for one element.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* size = Aligned size of the first data block in the region.
|
|
||||||
* head = Region list head.
|
|
||||||
*
|
|
||||||
* Returns: A pointer to the data.
|
|
||||||
*/
|
|
||||||
pragma(inline)
|
|
||||||
private static void* initializeRegion(size_t size,
|
|
||||||
ref Region head) nothrow
|
|
||||||
{
|
|
||||||
immutable regionSize = calculateRegionSize(size);
|
|
||||||
void* p = mmap(null,
|
|
||||||
regionSize,
|
|
||||||
PROT_READ | PROT_WRITE,
|
|
||||||
MAP_PRIVATE | MAP_ANON,
|
|
||||||
-1,
|
|
||||||
0);
|
|
||||||
if (p is MAP_FAILED)
|
|
||||||
{
|
|
||||||
return null;
|
|
||||||
}
|
|
||||||
|
|
||||||
Region region = cast(Region) p;
|
|
||||||
region.blocks = 1;
|
|
||||||
region.size = regionSize;
|
|
||||||
|
|
||||||
// Set the pointer to the head of the region list
|
|
||||||
if (head !is null)
|
|
||||||
{
|
|
||||||
head.prev = region;
|
|
||||||
}
|
|
||||||
region.next = head;
|
|
||||||
region.prev = null;
|
|
||||||
head = region;
|
|
||||||
|
|
||||||
// Initialize the data block
|
|
||||||
void* memoryPointer = p + regionEntrySize;
|
|
||||||
Block block1 = cast(Block) memoryPointer;
|
|
||||||
block1.size = size;
|
|
||||||
block1.free = false;
|
|
||||||
|
|
||||||
// It is what we want to return
|
|
||||||
void* data = memoryPointer + blockEntrySize;
|
|
||||||
|
|
||||||
// Free block after data
|
|
||||||
memoryPointer = data + size;
|
|
||||||
Block block2 = cast(Block) memoryPointer;
|
|
||||||
block1.prev = block2.next = null;
|
|
||||||
block1.next = block2;
|
|
||||||
block2.prev = block1;
|
|
||||||
block2.size = regionSize - size - regionEntrySize - blockEntrySize * 2;
|
|
||||||
block2.free = true;
|
|
||||||
block1.region = block2.region = region;
|
|
||||||
|
|
||||||
return data;
|
|
||||||
}
|
|
||||||
|
|
||||||
/// Ditto.
|
|
||||||
private void* initializeRegion(size_t size) nothrow
|
|
||||||
{
|
|
||||||
return initializeRegion(size, head);
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* x = Space to be aligned.
|
|
||||||
*
|
|
||||||
* Returns: Aligned size of $(D_PARAM x).
|
|
||||||
*/
|
|
||||||
pragma(inline)
|
|
||||||
private static immutable(size_t) addAlignment(size_t x) @safe pure nothrow
|
|
||||||
out (result)
|
|
||||||
{
|
|
||||||
assert(result > 0);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
return (x - 1) / alignment * alignment + alignment;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* x = Required space.
|
|
||||||
*
|
|
||||||
* Returns: Minimum region size (a multiple of $(D_PSYMBOL pageSize)).
|
|
||||||
*/
|
|
||||||
pragma(inline)
|
|
||||||
private static immutable(size_t) calculateRegionSize(size_t x)
|
|
||||||
@safe pure nothrow
|
|
||||||
out (result)
|
|
||||||
{
|
|
||||||
assert(result > 0);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
x += regionEntrySize + blockEntrySize * 2;
|
|
||||||
return x / pageSize * pageSize + pageSize;
|
|
||||||
}
|
|
||||||
|
|
||||||
enum alignment = 8;
|
|
||||||
|
|
||||||
private static Ullocator instance_;
|
|
||||||
|
|
||||||
private shared static immutable long pageSize;
|
|
||||||
|
|
||||||
private struct RegionEntry
|
|
||||||
{
|
|
||||||
Region prev;
|
|
||||||
Region next;
|
|
||||||
uint blocks;
|
|
||||||
ulong size;
|
|
||||||
}
|
|
||||||
private alias Region = RegionEntry*;
|
|
||||||
private enum regionEntrySize = 32;
|
|
||||||
|
|
||||||
private Region head;
|
|
||||||
|
|
||||||
private struct BlockEntry
|
|
||||||
{
|
|
||||||
Block prev;
|
|
||||||
Block next;
|
|
||||||
bool free;
|
|
||||||
ulong size;
|
|
||||||
Region region;
|
|
||||||
}
|
|
||||||
private alias Block = BlockEntry*;
|
|
||||||
private enum blockEntrySize = 40;
|
|
||||||
}
|
|
356
source/tanya/net/inet.d
Normal file
356
source/tanya/net/inet.d
Normal file
@ -0,0 +1,356 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Internet utilities.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.net.inet;
|
||||||
|
|
||||||
|
import std.math;
|
||||||
|
import std.range.primitives;
|
||||||
|
import std.traits;
|
||||||
|
|
||||||
|
version (unittest)
|
||||||
|
{
|
||||||
|
version (Windows)
|
||||||
|
{
|
||||||
|
import core.sys.windows.winsock2;
|
||||||
|
version = PlattformUnittest;
|
||||||
|
}
|
||||||
|
else version (Posix)
|
||||||
|
{
|
||||||
|
import core.sys.posix.arpa.inet;
|
||||||
|
version = PlattformUnittest;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Represents an unsigned integer as an $(D_KEYWORD ubyte) range.
|
||||||
|
*
|
||||||
|
* The range is bidirectional. The byte order is always big-endian.
|
||||||
|
*
|
||||||
|
* It can accept any unsigned integral type but the value should fit
|
||||||
|
* in $(D_PARAM L) bytes.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* L = Desired range length.
|
||||||
|
*/
|
||||||
|
struct NetworkOrder(uint L)
|
||||||
|
if (L > ubyte.sizeof && L <= ulong.sizeof)
|
||||||
|
{
|
||||||
|
static if (L > uint.sizeof)
|
||||||
|
{
|
||||||
|
private alias StorageType = ulong;
|
||||||
|
}
|
||||||
|
else static if (L > ushort.sizeof)
|
||||||
|
{
|
||||||
|
private alias StorageType = uint;
|
||||||
|
}
|
||||||
|
else static if (L > ubyte.sizeof)
|
||||||
|
{
|
||||||
|
private alias StorageType = ushort;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
private alias StorageType = ubyte;
|
||||||
|
}
|
||||||
|
|
||||||
|
private StorageType value;
|
||||||
|
private size_t size = L;
|
||||||
|
|
||||||
|
const pure nothrow @safe @nogc invariant
|
||||||
|
{
|
||||||
|
assert(this.size <= L);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Constructs a new range.
|
||||||
|
*
|
||||||
|
* $(D_PARAM T) can be any unsigned type but $(D_PARAM value) cannot be
|
||||||
|
* larger than the maximum can be stored in $(D_PARAM L) bytes. Otherwise
|
||||||
|
* an assertion failure will be caused.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Value type.
|
||||||
|
* value = The value should be represented by this range.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE value <= 2 ^^ (length * 8) - 1).
|
||||||
|
*/
|
||||||
|
this(T)(const T value)
|
||||||
|
if (isUnsigned!T)
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(value <= pow(2, L * 8) - 1);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
this.value = value & StorageType.max;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: LSB.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE length > 0).
|
||||||
|
*/
|
||||||
|
@property ubyte back() const
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(this.length > 0);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
return this.value & 0xff;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: MSB.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE length > 0).
|
||||||
|
*/
|
||||||
|
@property ubyte front() const
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(this.length > 0);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
return (this.value >> ((this.length - 1) * 8)) & 0xff;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Eliminates the LSB.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE length > 0).
|
||||||
|
*/
|
||||||
|
void popBack()
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(this.length > 0);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
this.value >>= 8;
|
||||||
|
--this.size;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Eliminates the MSB.
|
||||||
|
*
|
||||||
|
* Precondition: $(D_INLINECODE length > 0).
|
||||||
|
*/
|
||||||
|
void popFront()
|
||||||
|
in
|
||||||
|
{
|
||||||
|
assert(this.length > 0);
|
||||||
|
}
|
||||||
|
body
|
||||||
|
{
|
||||||
|
this.value &= StorageType.max >> ((StorageType.sizeof - this.length) * 8);
|
||||||
|
--this.size;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Copy of this range.
|
||||||
|
*/
|
||||||
|
typeof(this) save() const
|
||||||
|
{
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Whether the range is empty.
|
||||||
|
*/
|
||||||
|
@property bool empty() const
|
||||||
|
{
|
||||||
|
return this.length == 0;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Byte length.
|
||||||
|
*/
|
||||||
|
@property size_t length() const
|
||||||
|
{
|
||||||
|
return this.size;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
pure nothrow @safe @nogc unittest
|
||||||
|
{
|
||||||
|
auto networkOrder = NetworkOrder!3(0xae34e2u);
|
||||||
|
assert(!networkOrder.empty);
|
||||||
|
assert(networkOrder.front == 0xae);
|
||||||
|
|
||||||
|
networkOrder.popFront();
|
||||||
|
assert(networkOrder.length == 2);
|
||||||
|
assert(networkOrder.front == 0x34);
|
||||||
|
assert(networkOrder.back == 0xe2);
|
||||||
|
|
||||||
|
networkOrder.popBack();
|
||||||
|
assert(networkOrder.length == 1);
|
||||||
|
assert(networkOrder.front == 0x34);
|
||||||
|
assert(networkOrder.front == 0x34);
|
||||||
|
|
||||||
|
networkOrder.popFront();
|
||||||
|
assert(networkOrder.empty);
|
||||||
|
}
|
||||||
|
|
||||||
|
// Static.
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
static assert(isBidirectionalRange!(NetworkOrder!4));
|
||||||
|
static assert(isBidirectionalRange!(NetworkOrder!8));
|
||||||
|
static assert(!is(NetworkOrder!9));
|
||||||
|
static assert(!is(NetworkOrder!1));
|
||||||
|
}
|
||||||
|
|
||||||
|
// Tests against the system's htonl, htons.
|
||||||
|
version (PlattformUnittest)
|
||||||
|
{
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
for (uint counter; counter <= 8 * uint.sizeof; ++counter)
|
||||||
|
{
|
||||||
|
const value = pow(2, counter) - 1;
|
||||||
|
const inNetworkOrder = htonl(value);
|
||||||
|
const p = cast(ubyte*) &inNetworkOrder;
|
||||||
|
auto networkOrder = NetworkOrder!4(value);
|
||||||
|
|
||||||
|
assert(networkOrder.length == 4);
|
||||||
|
assert(!networkOrder.empty);
|
||||||
|
assert(networkOrder.front == *p);
|
||||||
|
assert(networkOrder.back == *(p + 3));
|
||||||
|
|
||||||
|
networkOrder.popBack();
|
||||||
|
assert(networkOrder.length == 3);
|
||||||
|
assert(networkOrder.front == *p);
|
||||||
|
assert(networkOrder.back == *(p + 2));
|
||||||
|
|
||||||
|
networkOrder.popFront();
|
||||||
|
assert(networkOrder.length == 2);
|
||||||
|
assert(networkOrder.front == *(p + 1));
|
||||||
|
assert(networkOrder.back == *(p + 2));
|
||||||
|
|
||||||
|
networkOrder.popFront();
|
||||||
|
assert(networkOrder.length == 1);
|
||||||
|
assert(networkOrder.front == *(p + 2));
|
||||||
|
assert(networkOrder.back == *(p + 2));
|
||||||
|
|
||||||
|
networkOrder.popBack();
|
||||||
|
assert(networkOrder.length == 0);
|
||||||
|
assert(networkOrder.empty);
|
||||||
|
}
|
||||||
|
|
||||||
|
for (ushort counter; counter <= 8 * ushort.sizeof; ++counter)
|
||||||
|
{
|
||||||
|
const value = cast(ushort) (pow(2, counter) - 1);
|
||||||
|
const inNetworkOrder = htons(value);
|
||||||
|
const p = cast(ubyte*) &inNetworkOrder;
|
||||||
|
|
||||||
|
auto networkOrder = NetworkOrder!2(value);
|
||||||
|
|
||||||
|
assert(networkOrder.length == 2);
|
||||||
|
assert(!networkOrder.empty);
|
||||||
|
assert(networkOrder.front == *p);
|
||||||
|
assert(networkOrder.back == *(p + 1));
|
||||||
|
|
||||||
|
networkOrder.popBack();
|
||||||
|
assert(networkOrder.length == 1);
|
||||||
|
assert(networkOrder.front == *p);
|
||||||
|
assert(networkOrder.back == *p);
|
||||||
|
|
||||||
|
networkOrder.popBack();
|
||||||
|
assert(networkOrder.length == 0);
|
||||||
|
assert(networkOrder.empty);
|
||||||
|
|
||||||
|
networkOrder = NetworkOrder!2(value);
|
||||||
|
|
||||||
|
networkOrder.popFront();
|
||||||
|
assert(networkOrder.length == 1);
|
||||||
|
assert(networkOrder.front == *(p + 1));
|
||||||
|
assert(networkOrder.back == *(p + 1));
|
||||||
|
|
||||||
|
networkOrder.popFront();
|
||||||
|
assert(networkOrder.length == 0);
|
||||||
|
assert(networkOrder.empty);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Converts the $(D_KEYWORD ubyte) input range $(D_PARAM range) to
|
||||||
|
* $(D_PARAM T).
|
||||||
|
*
|
||||||
|
* The byte order of $(D_PARAM r) is assumed to be big-endian. The length
|
||||||
|
* cannot be larger than $(D_INLINECODE T.sizeof). Otherwise an assertion
|
||||||
|
* failure will be caused.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = Desired return type.
|
||||||
|
* R = Range type.
|
||||||
|
* range = Input range.
|
||||||
|
*
|
||||||
|
* Returns: Integral representation of $(D_PARAM range) with the host byte
|
||||||
|
* order.
|
||||||
|
*/
|
||||||
|
T toHostOrder(T = size_t, R)(R range)
|
||||||
|
if (isInputRange!R
|
||||||
|
&& !isInfinite!R
|
||||||
|
&& is(Unqual!(ElementType!R) == ubyte)
|
||||||
|
&& isUnsigned!T)
|
||||||
|
{
|
||||||
|
T ret;
|
||||||
|
ushort pos = T.sizeof * 8;
|
||||||
|
|
||||||
|
for (; !range.empty && range.front == 0; pos -= 8, range.popFront())
|
||||||
|
{
|
||||||
|
}
|
||||||
|
for (; !range.empty; range.popFront())
|
||||||
|
{
|
||||||
|
assert(pos != 0);
|
||||||
|
pos -= 8;
|
||||||
|
ret |= (cast(T) range.front) << pos;
|
||||||
|
}
|
||||||
|
|
||||||
|
return ret >> pos;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
pure nothrow @safe @nogc unittest
|
||||||
|
{
|
||||||
|
const value = 0xae34e2u;
|
||||||
|
auto networkOrder = NetworkOrder!4(value);
|
||||||
|
assert(networkOrder.toHostOrder() == value);
|
||||||
|
}
|
||||||
|
|
||||||
|
// Tests against the system's htonl, htons.
|
||||||
|
version (PlattformUnittest)
|
||||||
|
{
|
||||||
|
private unittest
|
||||||
|
{
|
||||||
|
for (uint counter; counter <= 8 * uint.sizeof; ++counter)
|
||||||
|
{
|
||||||
|
const value = pow(2, counter) - 1;
|
||||||
|
const inNetworkOrder = htonl(value);
|
||||||
|
const p = cast(ubyte*) &inNetworkOrder;
|
||||||
|
auto networkOrder = NetworkOrder!4(value);
|
||||||
|
|
||||||
|
assert(p[0 .. uint.sizeof].toHostOrder() == value);
|
||||||
|
}
|
||||||
|
for (ushort counter; counter <= 8 * ushort.sizeof; ++counter)
|
||||||
|
{
|
||||||
|
const value = cast(ushort) (pow(2, counter) - 1);
|
||||||
|
const inNetworkOrder = htons(value);
|
||||||
|
const p = cast(ubyte*) &inNetworkOrder;
|
||||||
|
auto networkOrder = NetworkOrder!2(value);
|
||||||
|
|
||||||
|
assert(p[0 .. ushort.sizeof].toHostOrder() == value);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
@ -3,14 +3,14 @@
|
|||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Copyright: Eugene Wissner 2016.
|
* Network programming.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2017.
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
* Mozilla Public License, v. 2.0).
|
* Mozilla Public License, v. 2.0).
|
||||||
* Authors: $(LINK2 mailto:belka@caraus.de, Eugene Wissner)
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
*/
|
*/
|
||||||
module tanya.event;
|
module tanya.net;
|
||||||
|
|
||||||
public import tanya.event.loop;
|
public import tanya.net.inet;
|
||||||
public import tanya.event.protocol;
|
public import tanya.net.uri;
|
||||||
public import tanya.event.transport;
|
|
||||||
public import tanya.event.watcher;
|
|
573
source/tanya/net/uri.d
Normal file
573
source/tanya/net/uri.d
Normal file
@ -0,0 +1,573 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* URL parser.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.net.uri;
|
||||||
|
|
||||||
|
import std.ascii : isAlphaNum, isDigit;
|
||||||
|
import std.uni : isAlpha, isNumber;
|
||||||
|
import tanya.memory;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Thrown if an invalid URI was specified.
|
||||||
|
*/
|
||||||
|
final class URIException : Exception
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Params:
|
||||||
|
* msg = The message for the exception.
|
||||||
|
* file = The file where the exception occurred.
|
||||||
|
* line = The line number where the exception occurred.
|
||||||
|
* next = The previous exception in the chain of exceptions, if any.
|
||||||
|
*/
|
||||||
|
this(string msg,
|
||||||
|
string file = __FILE__,
|
||||||
|
size_t line = __LINE__,
|
||||||
|
Throwable next = null) @nogc @safe pure nothrow
|
||||||
|
{
|
||||||
|
super(msg, file, line, next);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* A Unique Resource Locator.
|
||||||
|
*/
|
||||||
|
struct URL
|
||||||
|
{
|
||||||
|
/// The URL scheme.
|
||||||
|
const(char)[] scheme;
|
||||||
|
|
||||||
|
/// The username.
|
||||||
|
const(char)[] user;
|
||||||
|
|
||||||
|
/// The password.
|
||||||
|
const(char)[] pass;
|
||||||
|
|
||||||
|
/// The hostname.
|
||||||
|
const(char)[] host;
|
||||||
|
|
||||||
|
/// The port number.
|
||||||
|
ushort port;
|
||||||
|
|
||||||
|
/// The path.
|
||||||
|
const(char)[] path;
|
||||||
|
|
||||||
|
/// The query string.
|
||||||
|
const(char)[] query;
|
||||||
|
|
||||||
|
/// The anchor.
|
||||||
|
const(char)[] fragment;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Attempts to parse an URL from a string.
|
||||||
|
* Output string data (scheme, user, etc.) are just slices of input string
|
||||||
|
* (i.e., no memory allocation and copying).
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* source = The string containing the URL.
|
||||||
|
*
|
||||||
|
* Throws: $(D_PSYMBOL URIException) if the URL is malformed.
|
||||||
|
*/
|
||||||
|
this(const char[] source) pure @nogc
|
||||||
|
{
|
||||||
|
ptrdiff_t pos = -1, endPos = source.length, start;
|
||||||
|
|
||||||
|
foreach (i, ref c; source)
|
||||||
|
{
|
||||||
|
if (pos == -1 && c == ':')
|
||||||
|
{
|
||||||
|
pos = i;
|
||||||
|
}
|
||||||
|
if (endPos == source.length && (c == '?' || c == '#'))
|
||||||
|
{
|
||||||
|
endPos = i;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Check if the colon is a part of the scheme or the port and parse
|
||||||
|
// the appropriate part.
|
||||||
|
if (source.length > 1 && source[0] == '/' && source[1] == '/')
|
||||||
|
{
|
||||||
|
// Relative scheme.
|
||||||
|
start = 2;
|
||||||
|
}
|
||||||
|
else if (pos > 0)
|
||||||
|
{
|
||||||
|
// Validate scheme:
|
||||||
|
// [ toLower(alpha) | digit | "+" | "-" | "." ]
|
||||||
|
foreach (ref c; source[0 .. pos])
|
||||||
|
{
|
||||||
|
if (!c.isAlphaNum && c != '+' && c != '-' && c != '.')
|
||||||
|
{
|
||||||
|
goto ParsePath;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (source.length == pos + 1) // only "scheme:" is available.
|
||||||
|
{
|
||||||
|
this.scheme = source[0 .. $ - 1];
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
else if (source.length > pos + 1 && source[pos + 1] == '/')
|
||||||
|
{
|
||||||
|
this.scheme = source[0 .. pos];
|
||||||
|
|
||||||
|
if (source.length > pos + 2 && source[pos + 2] == '/')
|
||||||
|
{
|
||||||
|
start = pos + 3;
|
||||||
|
|
||||||
|
if (source.length <= start)
|
||||||
|
{
|
||||||
|
// Only "scheme://" is available.
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
if (this.scheme == "file" && source[start] == '/')
|
||||||
|
{
|
||||||
|
// Windows drive letters.
|
||||||
|
if (source.length - start > 2
|
||||||
|
&& source[start + 2] == ':')
|
||||||
|
{
|
||||||
|
++start;
|
||||||
|
}
|
||||||
|
goto ParsePath;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
start = pos + 1;
|
||||||
|
goto ParsePath;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
// Schemas like mailto: and zlib: may not have any slash after
|
||||||
|
// them.
|
||||||
|
if (!parsePort(source[pos .. $]))
|
||||||
|
{
|
||||||
|
this.scheme = source[0 .. pos];
|
||||||
|
start = pos + 1;
|
||||||
|
goto ParsePath;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else if (pos == 0 && parsePort(source[pos .. $]))
|
||||||
|
{
|
||||||
|
// An URL shouldn't begin with a port number.
|
||||||
|
throw defaultAllocator.make!URIException("URL begins with port");
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
goto ParsePath;
|
||||||
|
}
|
||||||
|
|
||||||
|
// Parse host.
|
||||||
|
pos = -1;
|
||||||
|
for (ptrdiff_t i = start; i < source.length; ++i)
|
||||||
|
{
|
||||||
|
if (source[i] == '@')
|
||||||
|
{
|
||||||
|
pos = i;
|
||||||
|
}
|
||||||
|
else if (source[i] == '/')
|
||||||
|
{
|
||||||
|
endPos = i;
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Check for login and password.
|
||||||
|
if (pos != -1)
|
||||||
|
{
|
||||||
|
// *( unreserved / pct-encoded / sub-delims / ":" )
|
||||||
|
foreach (i, c; source[start .. pos])
|
||||||
|
{
|
||||||
|
if (c == ':')
|
||||||
|
{
|
||||||
|
if (this.user is null)
|
||||||
|
{
|
||||||
|
this.user = source[start .. start + i];
|
||||||
|
this.pass = source[start + i + 1 .. pos];
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else if (!c.isAlpha &&
|
||||||
|
!c.isNumber &&
|
||||||
|
c != '!' &&
|
||||||
|
c != ';' &&
|
||||||
|
c != '=' &&
|
||||||
|
c != '_' &&
|
||||||
|
c != '~' &&
|
||||||
|
!(c >= '$' && c <= '.'))
|
||||||
|
{
|
||||||
|
this.scheme = this.user = this.pass = null;
|
||||||
|
throw make!URIException(defaultAllocator,
|
||||||
|
"Restricted characters in user information");
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (this.user is null)
|
||||||
|
{
|
||||||
|
this.user = source[start .. pos];
|
||||||
|
}
|
||||||
|
|
||||||
|
start = ++pos;
|
||||||
|
}
|
||||||
|
|
||||||
|
pos = endPos;
|
||||||
|
if (endPos <= 1 || source[start] != '[' || source[endPos - 1] != ']')
|
||||||
|
{
|
||||||
|
// Short circuit portscan.
|
||||||
|
// IPv6 embedded address.
|
||||||
|
for (ptrdiff_t i = endPos - 1; i >= start; --i)
|
||||||
|
{
|
||||||
|
if (source[i] == ':')
|
||||||
|
{
|
||||||
|
pos = i;
|
||||||
|
if (this.port == 0 && !parsePort(source[i .. endPos]))
|
||||||
|
{
|
||||||
|
this.scheme = this.user = this.pass = null;
|
||||||
|
throw defaultAllocator.make!URIException("Invalid port");
|
||||||
|
}
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Check if we have a valid host, if we don't reject the string as URL.
|
||||||
|
if (pos <= start)
|
||||||
|
{
|
||||||
|
this.scheme = this.user = this.pass = null;
|
||||||
|
throw defaultAllocator.make!URIException("Invalid host");
|
||||||
|
}
|
||||||
|
|
||||||
|
this.host = source[start .. pos];
|
||||||
|
|
||||||
|
if (endPos == source.length)
|
||||||
|
{
|
||||||
|
return;
|
||||||
|
}
|
||||||
|
|
||||||
|
start = endPos;
|
||||||
|
|
||||||
|
ParsePath:
|
||||||
|
endPos = source.length;
|
||||||
|
pos = -1;
|
||||||
|
foreach (i, ref c; source[start .. $])
|
||||||
|
{
|
||||||
|
if (c == '?' && pos == -1)
|
||||||
|
{
|
||||||
|
pos = start + i;
|
||||||
|
}
|
||||||
|
else if (c == '#')
|
||||||
|
{
|
||||||
|
endPos = start + i;
|
||||||
|
break;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
if (pos == -1)
|
||||||
|
{
|
||||||
|
pos = endPos;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (pos > start)
|
||||||
|
{
|
||||||
|
this.path = source[start .. pos];
|
||||||
|
}
|
||||||
|
if (endPos >= ++pos)
|
||||||
|
{
|
||||||
|
this.query = source[pos .. endPos];
|
||||||
|
}
|
||||||
|
if (++endPos <= source.length)
|
||||||
|
{
|
||||||
|
this.fragment = source[endPos .. $];
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/*
|
||||||
|
* Attempts to parse and set the port.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* port = String beginning with a colon followed by the port number and
|
||||||
|
* an optional path (query string and/or fragment), like:
|
||||||
|
* `:12345/some_path` or `:12345`.
|
||||||
|
*
|
||||||
|
* Returns: Whether the port could be found.
|
||||||
|
*/
|
||||||
|
private bool parsePort(const char[] port) pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
ptrdiff_t i = 1;
|
||||||
|
float lPort = 0;
|
||||||
|
|
||||||
|
for (; i < port.length && port[i].isDigit() && i <= 6; ++i)
|
||||||
|
{
|
||||||
|
lPort += (port[i] - '0') / cast(float) (10 ^^ (i - 1));
|
||||||
|
}
|
||||||
|
if (i != 1 && (i == port.length || port[i] == '/'))
|
||||||
|
{
|
||||||
|
lPort *= 10 ^^ (i - 2);
|
||||||
|
if (lPort > ushort.max)
|
||||||
|
{
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
this.port = cast(ushort) lPort;
|
||||||
|
return true;
|
||||||
|
}
|
||||||
|
return false;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc unittest
|
||||||
|
{
|
||||||
|
auto u = URL("example.org");
|
||||||
|
assert(u.path == "example.org");
|
||||||
|
|
||||||
|
u = URL("relative/path");
|
||||||
|
assert(u.path == "relative/path");
|
||||||
|
|
||||||
|
// Host and scheme
|
||||||
|
u = URL("https://example.org");
|
||||||
|
assert(u.scheme == "https");
|
||||||
|
assert(u.host == "example.org");
|
||||||
|
assert(u.path is null);
|
||||||
|
assert(u.port == 0);
|
||||||
|
assert(u.fragment is null);
|
||||||
|
|
||||||
|
// With user and port and path
|
||||||
|
u = URL("https://hilary:putnam@example.org:443/foo/bar");
|
||||||
|
assert(u.scheme == "https");
|
||||||
|
assert(u.host == "example.org");
|
||||||
|
assert(u.path == "/foo/bar");
|
||||||
|
assert(u.port == 443);
|
||||||
|
assert(u.user == "hilary");
|
||||||
|
assert(u.pass == "putnam");
|
||||||
|
assert(u.fragment is null);
|
||||||
|
|
||||||
|
// With query string
|
||||||
|
u = URL("https://example.org/?login=true");
|
||||||
|
assert(u.scheme == "https");
|
||||||
|
assert(u.host == "example.org");
|
||||||
|
assert(u.path == "/");
|
||||||
|
assert(u.query == "login=true");
|
||||||
|
assert(u.fragment is null);
|
||||||
|
|
||||||
|
// With query string and fragment
|
||||||
|
u = URL("https://example.org/?login=false#label");
|
||||||
|
assert(u.scheme == "https");
|
||||||
|
assert(u.host == "example.org");
|
||||||
|
assert(u.path == "/");
|
||||||
|
assert(u.query == "login=false");
|
||||||
|
assert(u.fragment == "label");
|
||||||
|
|
||||||
|
u = URL("redis://root:password@localhost:2201/path?query=value#fragment");
|
||||||
|
assert(u.scheme == "redis");
|
||||||
|
assert(u.user == "root");
|
||||||
|
assert(u.pass == "password");
|
||||||
|
assert(u.host == "localhost");
|
||||||
|
assert(u.port == 2201);
|
||||||
|
assert(u.path == "/path");
|
||||||
|
assert(u.query == "query=value");
|
||||||
|
assert(u.fragment == "fragment");
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
auto u = URL("127.0.0.1");
|
||||||
|
assert(u.path == "127.0.0.1");
|
||||||
|
|
||||||
|
u = URL("http://127.0.0.1");
|
||||||
|
assert(u.scheme == "http");
|
||||||
|
assert(u.host == "127.0.0.1");
|
||||||
|
|
||||||
|
u = URL("http://127.0.0.1:9000");
|
||||||
|
assert(u.scheme == "http");
|
||||||
|
assert(u.host == "127.0.0.1");
|
||||||
|
assert(u.port == 9000);
|
||||||
|
|
||||||
|
u = URL("127.0.0.1:80");
|
||||||
|
assert(u.host == "127.0.0.1");
|
||||||
|
assert(u.port == 80);
|
||||||
|
assert(u.path is null);
|
||||||
|
|
||||||
|
u = URL("//example.net");
|
||||||
|
assert(u.host == "example.net");
|
||||||
|
assert(u.scheme is null);
|
||||||
|
|
||||||
|
u = URL("//example.net?q=before:after");
|
||||||
|
assert(u.host == "example.net");
|
||||||
|
assert(u.query == "q=before:after");
|
||||||
|
|
||||||
|
u = URL("localhost:8080");
|
||||||
|
assert(u.host == "localhost");
|
||||||
|
assert(u.port == 8080);
|
||||||
|
assert(u.path is null);
|
||||||
|
|
||||||
|
u = URL("ftp:");
|
||||||
|
assert(u.scheme == "ftp");
|
||||||
|
|
||||||
|
u = URL("file:///C:\\Users");
|
||||||
|
assert(u.scheme == "file");
|
||||||
|
assert(u.path == "C:\\Users");
|
||||||
|
|
||||||
|
u = URL("localhost:66000");
|
||||||
|
assert(u.scheme == "localhost");
|
||||||
|
assert(u.path == "66000");
|
||||||
|
|
||||||
|
u = URL("file:///home/");
|
||||||
|
assert(u.scheme == "file");
|
||||||
|
assert(u.path == "/home/");
|
||||||
|
|
||||||
|
u = URL("file:///home/?q=asdf");
|
||||||
|
assert(u.scheme == "file");
|
||||||
|
assert(u.path == "/home/");
|
||||||
|
assert(u.query == "q=asdf");
|
||||||
|
|
||||||
|
u = URL("http://secret@example.org");
|
||||||
|
assert(u.scheme == "http");
|
||||||
|
assert(u.host == "example.org");
|
||||||
|
assert(u.user == "secret");
|
||||||
|
|
||||||
|
u = URL("h_tp://:80");
|
||||||
|
assert(u.path == "h_tp://:80");
|
||||||
|
assert(u.port == 0);
|
||||||
|
|
||||||
|
u = URL("zlib:/home/user/file.gz");
|
||||||
|
assert(u.scheme == "zlib");
|
||||||
|
assert(u.path == "/home/user/file.gz");
|
||||||
|
|
||||||
|
u = URL("h_tp:asdf");
|
||||||
|
assert(u.path == "h_tp:asdf");
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
URIException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
auto u = URL("http://:80");
|
||||||
|
}
|
||||||
|
catch (URIException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
URIException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
auto u = URL(":80");
|
||||||
|
}
|
||||||
|
catch (URIException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
URIException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
auto u = URL("http://user1:pass1@user2:pass2@example.org");
|
||||||
|
}
|
||||||
|
catch (URIException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
URIException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
auto u = URL("http://blah.com:port");
|
||||||
|
}
|
||||||
|
catch (URIException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
private @nogc unittest
|
||||||
|
{
|
||||||
|
URIException exception;
|
||||||
|
try
|
||||||
|
{
|
||||||
|
auto u = URL("http://blah.com:66000");
|
||||||
|
}
|
||||||
|
catch (URIException e)
|
||||||
|
{
|
||||||
|
exception = e;
|
||||||
|
}
|
||||||
|
assert(exception !is null);
|
||||||
|
defaultAllocator.dispose(exception);
|
||||||
|
}
|
||||||
|
|
||||||
|
// Issue 254: https://issues.caraus.io/issues/254.
|
||||||
|
private @system @nogc unittest
|
||||||
|
{
|
||||||
|
auto u = URL("ftp://");
|
||||||
|
assert(u.scheme == "ftp");
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Attempts to parse an URL from a string and returns the specified component
|
||||||
|
* of the URL or $(D_PSYMBOL URL) if no component is specified.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* T = "scheme", "host", "port", "user", "pass", "path", "query",
|
||||||
|
* "fragment".
|
||||||
|
* source = The string containing the URL.
|
||||||
|
*
|
||||||
|
* Returns: Requested URL component.
|
||||||
|
*/
|
||||||
|
auto parseURL(string T)(const char[] source)
|
||||||
|
if (T == "scheme"
|
||||||
|
|| T == "host"
|
||||||
|
|| T == "user"
|
||||||
|
|| T == "pass"
|
||||||
|
|| T == "path"
|
||||||
|
|| T == "query"
|
||||||
|
|| T == "fragment"
|
||||||
|
|| T == "port")
|
||||||
|
{
|
||||||
|
auto ret = URL(source);
|
||||||
|
return mixin("ret." ~ T);
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
URL parseURL(const char[] source) @nogc
|
||||||
|
{
|
||||||
|
return URL(source);
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
@nogc unittest
|
||||||
|
{
|
||||||
|
auto u = parseURL("http://example.org:5326");
|
||||||
|
assert(u.scheme == parseURL!"scheme"("http://example.org:5326"));
|
||||||
|
assert(u.host == parseURL!"host"("http://example.org:5326"));
|
||||||
|
assert(u.user == parseURL!"user"("http://example.org:5326"));
|
||||||
|
assert(u.pass == parseURL!"pass"("http://example.org:5326"));
|
||||||
|
assert(u.path == parseURL!"path"("http://example.org:5326"));
|
||||||
|
assert(u.query == parseURL!"query"("http://example.org:5326"));
|
||||||
|
assert(u.fragment == parseURL!"fragment"("http://example.org:5326"));
|
||||||
|
assert(u.port == parseURL!"port"("http://example.org:5326"));
|
||||||
|
}
|
15
source/tanya/network/package.d
Normal file
15
source/tanya/network/package.d
Normal file
@ -0,0 +1,15 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Network programming.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2016-2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.network;
|
||||||
|
|
||||||
|
public import tanya.network.socket;
|
1625
source/tanya/network/socket.d
Normal file
1625
source/tanya/network/socket.d
Normal file
File diff suppressed because it is too large
Load Diff
337
source/tanya/os/error.d
Normal file
337
source/tanya/os/error.d
Normal file
@ -0,0 +1,337 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* This module provides a portable way of using operating system error codes.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.os.error;
|
||||||
|
|
||||||
|
// Socket API error.
|
||||||
|
private template SAError(int posix, int wsa = posix)
|
||||||
|
{
|
||||||
|
version (Windows)
|
||||||
|
{
|
||||||
|
enum SAError = 10000 + wsa;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
alias SAError = posix;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
// Error for Windows and Posix separately.
|
||||||
|
private template NativeError(int posix, int win)
|
||||||
|
{
|
||||||
|
version (Windows)
|
||||||
|
{
|
||||||
|
alias NativeError = win;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
alias NativeError = posix;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
version (Windows)
|
||||||
|
{
|
||||||
|
private enum eProtocolError = -71;
|
||||||
|
}
|
||||||
|
else version (OpenBSD)
|
||||||
|
{
|
||||||
|
private enum eProtocolError = -71;
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
private enum eProtocolError = 71;
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* System error code.
|
||||||
|
*/
|
||||||
|
struct ErrorCode
|
||||||
|
{
|
||||||
|
/**
|
||||||
|
* Error code numbers.
|
||||||
|
*/
|
||||||
|
enum ErrorNo : int
|
||||||
|
{
|
||||||
|
/// The operation completed successfully.
|
||||||
|
success = 0,
|
||||||
|
|
||||||
|
/// Operation not permitted.
|
||||||
|
noPermission = NativeError!(1, 5),
|
||||||
|
|
||||||
|
/// Interrupted system call.
|
||||||
|
interrupted = SAError!4,
|
||||||
|
|
||||||
|
/// Bad file descriptor.
|
||||||
|
badDescriptor = SAError!9,
|
||||||
|
|
||||||
|
/// An operation on a non-blocking socket would block.
|
||||||
|
wouldBlock = SAError!(11, 35),
|
||||||
|
|
||||||
|
/// Out of memory.
|
||||||
|
noMemory = NativeError!(12, 14),
|
||||||
|
|
||||||
|
/// Access denied.
|
||||||
|
accessDenied = SAError!13,
|
||||||
|
|
||||||
|
/// An invalid pointer address detected.
|
||||||
|
fault = SAError!14,
|
||||||
|
|
||||||
|
/// No such device.
|
||||||
|
noSuchDevice = NativeError!(19, 20),
|
||||||
|
|
||||||
|
/// An invalid argument was supplied.
|
||||||
|
invalidArgument = SAError!22,
|
||||||
|
|
||||||
|
/// The limit on the number of open file descriptors.
|
||||||
|
tooManyDescriptors = NativeError!(23, 331),
|
||||||
|
|
||||||
|
/// The limit on the number of open file descriptors.
|
||||||
|
noDescriptors = SAError!24,
|
||||||
|
|
||||||
|
/// Broken pipe.
|
||||||
|
brokenPipe = NativeError!(32, 109),
|
||||||
|
|
||||||
|
/// The name was too long.
|
||||||
|
nameTooLong = SAError!(36, 63),
|
||||||
|
|
||||||
|
/// A socket operation was attempted on a non-socket.
|
||||||
|
notSocket = SAError!(88, 38),
|
||||||
|
|
||||||
|
/// Protocol error.
|
||||||
|
protocolError = eProtocolError,
|
||||||
|
|
||||||
|
/// Message too long.
|
||||||
|
messageTooLong = SAError!(90, 40),
|
||||||
|
|
||||||
|
/// Wrong protocol type for socket.
|
||||||
|
wrongProtocolType = SAError!(91, 41),
|
||||||
|
|
||||||
|
/// Protocol not available.
|
||||||
|
noProtocolOption = SAError!(92, 42),
|
||||||
|
|
||||||
|
/// The protocol is not implemented orR has not been configured.
|
||||||
|
protocolNotSupported = SAError!(93, 43),
|
||||||
|
|
||||||
|
/// The support for the specified socket type does not exist in this
|
||||||
|
/// address family.
|
||||||
|
socketNotSupported = SAError!(94, 44),
|
||||||
|
|
||||||
|
/// The address family is no supported by the protocol family.
|
||||||
|
operationNotSupported = SAError!(95, 45),
|
||||||
|
|
||||||
|
/// Address family specified is not supported.
|
||||||
|
addressFamilyNotSupported = SAError!(97, 47),
|
||||||
|
|
||||||
|
/// Address already in use.
|
||||||
|
addressInUse = SAError!(98, 48),
|
||||||
|
|
||||||
|
/// The network is not available.
|
||||||
|
networkDown = SAError!(100, 50),
|
||||||
|
|
||||||
|
/// No route to host.
|
||||||
|
networkUnreachable = SAError!(101, 51),
|
||||||
|
|
||||||
|
/// Network dropped connection because of reset.
|
||||||
|
networkReset = SAError!(102, 52),
|
||||||
|
|
||||||
|
/// The connection has been aborted.
|
||||||
|
connectionAborted = SAError!(103, 53),
|
||||||
|
|
||||||
|
/// Connection reset by peer.
|
||||||
|
connectionReset = SAError!(104, 54),
|
||||||
|
|
||||||
|
/// No free buffer space is available for a socket operation.
|
||||||
|
noBufferSpace = SAError!(105, 55),
|
||||||
|
|
||||||
|
/// Transport endpoint is already connected.
|
||||||
|
alreadyConnected = SAError!(106, 56),
|
||||||
|
|
||||||
|
/// Transport endpoint is not connected.
|
||||||
|
notConnected = SAError!(107, 57),
|
||||||
|
|
||||||
|
/// Cannot send after transport endpoint shutdown.
|
||||||
|
shutdown = SAError!(108, 58),
|
||||||
|
|
||||||
|
/// The connection attempt timed out, or the connected host has failed
|
||||||
|
/// to respond.
|
||||||
|
timedOut = SAError!(110, 60),
|
||||||
|
|
||||||
|
/// Connection refused.
|
||||||
|
connectionRefused = SAError!(111, 61),
|
||||||
|
|
||||||
|
/// Host is down.
|
||||||
|
hostDown = SAError!(112, 64),
|
||||||
|
|
||||||
|
/// No route to host.
|
||||||
|
hostUnreachable = SAError!(113, 65),
|
||||||
|
|
||||||
|
/// Operation already in progress.
|
||||||
|
alreadyStarted = SAError!(114, 37),
|
||||||
|
|
||||||
|
/// Operation now in progress.
|
||||||
|
inProgress = SAError!(115, 36),
|
||||||
|
|
||||||
|
/// Operation cancelled.
|
||||||
|
cancelled = SAError!(125, 103),
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Constructor.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* value = Numeric error code.
|
||||||
|
*/
|
||||||
|
this(const ErrorNo value) pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
this.value_ = value;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
pure nothrow @safe @nogc unittest
|
||||||
|
{
|
||||||
|
ErrorCode ec;
|
||||||
|
assert(ec == ErrorCode.success);
|
||||||
|
|
||||||
|
ec = ErrorCode.fault;
|
||||||
|
assert(ec == ErrorCode.fault);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Resets this $(D_PSYMBOL ErrorCode) to default
|
||||||
|
* ($(D_PSYMBOL ErrorCode.success)).
|
||||||
|
*/
|
||||||
|
void reset() pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
this.value_ = ErrorNo.success;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
pure nothrow @safe @nogc unittest
|
||||||
|
{
|
||||||
|
auto ec = ErrorCode(ErrorCode.fault);
|
||||||
|
assert(ec == ErrorCode.fault);
|
||||||
|
|
||||||
|
ec.reset();
|
||||||
|
assert(ec == ErrorCode.success);
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Returns: Numeric error code.
|
||||||
|
*/
|
||||||
|
ErrorNo opCast(T : ErrorNo)() const
|
||||||
|
{
|
||||||
|
return this.value_;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
ErrorNo opCast(T : int)() const
|
||||||
|
{
|
||||||
|
return this.value_;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
pure nothrow @safe @nogc unittest
|
||||||
|
{
|
||||||
|
ErrorCode ec = ErrorCode.fault;
|
||||||
|
auto errorNo = cast(ErrorCode.ErrorNo) ec;
|
||||||
|
|
||||||
|
assert(errorNo == ErrorCode.fault);
|
||||||
|
static assert(is(typeof(cast(int) ec)));
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Assigns another error code or error code number.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* that = Numeric error code.
|
||||||
|
*
|
||||||
|
* Returns: $(D_KEYWORD this).
|
||||||
|
*/
|
||||||
|
ref ErrorCode opAssign(const ErrorNo that) pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
this.value_ = that;
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
ref ErrorCode opAssign()(auto ref const ErrorCode that)
|
||||||
|
pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
this.value_ = that.value_;
|
||||||
|
return this;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
pure nothrow @safe @nogc unittest
|
||||||
|
{
|
||||||
|
{
|
||||||
|
ErrorCode ec;
|
||||||
|
assert(ec == ErrorCode.success);
|
||||||
|
|
||||||
|
ec = ErrorCode.fault;
|
||||||
|
assert(ec == ErrorCode.fault);
|
||||||
|
}
|
||||||
|
{
|
||||||
|
auto ec1 = ErrorCode(ErrorCode.fault);
|
||||||
|
ErrorCode ec2;
|
||||||
|
assert(ec2 == ErrorCode.success);
|
||||||
|
|
||||||
|
ec2 = ec1;
|
||||||
|
assert(ec1 == ec2);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Equality with another error code or error code number.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* that = Numeric error code.
|
||||||
|
*
|
||||||
|
* Returns: Whether $(D_KEYWORD this) and $(D_PARAM that) are equal.
|
||||||
|
*/
|
||||||
|
bool opEquals(const ErrorNo that) const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return this.value_ == that;
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Ditto.
|
||||||
|
bool opEquals()(auto ref const ErrorCode that)
|
||||||
|
const pure nothrow @safe @nogc
|
||||||
|
{
|
||||||
|
return this.value_ == that.value_;
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
pure nothrow @safe @nogc unittest
|
||||||
|
{
|
||||||
|
{
|
||||||
|
ErrorCode ec1 = ErrorCode.fault;
|
||||||
|
ErrorCode ec2 = ErrorCode.accessDenied;
|
||||||
|
|
||||||
|
assert(ec1 != ec2);
|
||||||
|
assert(ec1 != ErrorCode.accessDenied);
|
||||||
|
assert(ErrorCode.fault != ec2);
|
||||||
|
}
|
||||||
|
{
|
||||||
|
ErrorCode ec1 = ErrorCode.fault;
|
||||||
|
ErrorCode ec2 = ErrorCode.fault;
|
||||||
|
|
||||||
|
assert(ec1 == ec2);
|
||||||
|
assert(ec1 == ErrorCode.fault);
|
||||||
|
assert(ErrorCode.fault == ec2);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
private ErrorNo value_ = ErrorNo.success;
|
||||||
|
|
||||||
|
alias ErrorNo this;
|
||||||
|
}
|
16
source/tanya/os/package.d
Normal file
16
source/tanya/os/package.d
Normal file
@ -0,0 +1,16 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* This package provides platform-independent interfaces to operating system
|
||||||
|
* functionality.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.os;
|
||||||
|
|
||||||
|
public import tanya.os.error;
|
@ -1,324 +0,0 @@
|
|||||||
/* This Source Code Form is subject to the terms of the Mozilla Public
|
|
||||||
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
|
||||||
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Copyright: Eugene Wissner 2016.
|
|
||||||
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
|
||||||
* Mozilla Public License, v. 2.0).
|
|
||||||
* Authors: $(LINK2 mailto:belka@caraus.de, Eugene Wissner)
|
|
||||||
*/
|
|
||||||
module tanya.random;
|
|
||||||
|
|
||||||
import tanya.memory;
|
|
||||||
import std.digest.sha;
|
|
||||||
import std.typecons;
|
|
||||||
|
|
||||||
@nogc:
|
|
||||||
|
|
||||||
/// Block size of entropy accumulator (SHA-512).
|
|
||||||
enum blockSize = 64;
|
|
||||||
|
|
||||||
/// Maximum amount gathered from the entropy sources.
|
|
||||||
enum maxGather = 128;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Exception thrown if random number generating fails.
|
|
||||||
*/
|
|
||||||
class EntropyException : Exception
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* msg = Message to output.
|
|
||||||
* file = The file where the exception occurred.
|
|
||||||
* line = The line number where the exception occurred.
|
|
||||||
* next = The previous exception in the chain of exceptions, if any.
|
|
||||||
*/
|
|
||||||
this(string msg,
|
|
||||||
string file = __FILE__,
|
|
||||||
size_t line = __LINE__,
|
|
||||||
Throwable next = null) pure @safe nothrow const
|
|
||||||
{
|
|
||||||
super(msg, file, line, next);
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Interface for implementing entropy sources.
|
|
||||||
*/
|
|
||||||
abstract class EntropySource
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/// Amount of already generated entropy.
|
|
||||||
protected ushort size_;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Minimum bytes required from the entropy source.
|
|
||||||
*/
|
|
||||||
@property immutable(ubyte) threshold() const @safe pure nothrow;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Whether this entropy source is strong.
|
|
||||||
*/
|
|
||||||
@property immutable(bool) strong() const @safe pure nothrow;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Amount of already generated entropy.
|
|
||||||
*/
|
|
||||||
@property ushort size() const @safe pure nothrow
|
|
||||||
{
|
|
||||||
return size_;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* size = Amount of already generated entropy. Cannot be smaller than the
|
|
||||||
* already set value.
|
|
||||||
*/
|
|
||||||
@property void size(ushort size) @safe pure nothrow
|
|
||||||
{
|
|
||||||
size_ = size;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Poll the entropy source.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* output = Buffer to save the generate random sequence (the method will
|
|
||||||
* to fill the buffer).
|
|
||||||
*
|
|
||||||
* Returns: Number of bytes that were copied to the $(D_PARAM output)
|
|
||||||
* or $(D_PSYMBOL Nullable!ubyte.init) on error.
|
|
||||||
*/
|
|
||||||
Nullable!ubyte poll(out ubyte[maxGather] output);
|
|
||||||
}
|
|
||||||
|
|
||||||
version (linux)
|
|
||||||
{
|
|
||||||
extern (C) long syscall(long number, ...) nothrow;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Uses getrandom system call.
|
|
||||||
*/
|
|
||||||
class PlatformEntropySource : EntropySource
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/**
|
|
||||||
* Returns: Minimum bytes required from the entropy source.
|
|
||||||
*/
|
|
||||||
override @property immutable(ubyte) threshold() const @safe pure nothrow
|
|
||||||
{
|
|
||||||
return 32;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Whether this entropy source is strong.
|
|
||||||
*/
|
|
||||||
override @property immutable(bool) strong() const @safe pure nothrow
|
|
||||||
{
|
|
||||||
return true;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Poll the entropy source.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* output = Buffer to save the generate random sequence (the method will
|
|
||||||
* to fill the buffer).
|
|
||||||
*
|
|
||||||
* Returns: Number of bytes that were copied to the $(D_PARAM output)
|
|
||||||
* or $(D_PSYMBOL Nullable!ubyte.init) on error.
|
|
||||||
*/
|
|
||||||
override Nullable!ubyte poll(out ubyte[maxGather] output) nothrow
|
|
||||||
out (length)
|
|
||||||
{
|
|
||||||
assert(length <= maxGather);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
// int getrandom(void *buf, size_t buflen, unsigned int flags);
|
|
||||||
auto length = syscall(318, output.ptr, output.length, 0);
|
|
||||||
Nullable!ubyte ret;
|
|
||||||
|
|
||||||
if (length >= 0)
|
|
||||||
{
|
|
||||||
ret = cast(ubyte) length;
|
|
||||||
}
|
|
||||||
return ret;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Pseudorandom number generator.
|
|
||||||
* ---
|
|
||||||
* auto entropy = defaultAllocator.make!Entropy;
|
|
||||||
*
|
|
||||||
* ubyte[blockSize] output;
|
|
||||||
*
|
|
||||||
* output = entropy.random;
|
|
||||||
*
|
|
||||||
* defaultAllocator.finalize(entropy);
|
|
||||||
* ---
|
|
||||||
*/
|
|
||||||
class Entropy
|
|
||||||
{
|
|
||||||
@nogc:
|
|
||||||
/// Entropy sources.
|
|
||||||
protected EntropySource[] sources;
|
|
||||||
|
|
||||||
private ubyte sourceCount_;
|
|
||||||
|
|
||||||
private Allocator allocator;
|
|
||||||
|
|
||||||
/// Entropy accumulator.
|
|
||||||
protected SHA!(maxGather * 8, 512) accumulator;
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Params:
|
|
||||||
* maxSources = Maximum amount of entropy sources can be set.
|
|
||||||
* allocator = Allocator to allocate entropy sources available on the
|
|
||||||
* system.
|
|
||||||
*/
|
|
||||||
this(size_t maxSources = 20, Allocator allocator = defaultAllocator)
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(maxSources > 0 && maxSources <= ubyte.max);
|
|
||||||
assert(allocator !is null);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
allocator.resizeArray(sources, maxSources);
|
|
||||||
|
|
||||||
version (linux)
|
|
||||||
{
|
|
||||||
this ~= allocator.make!PlatformEntropySource;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Amount of the registered entropy sources.
|
|
||||||
*/
|
|
||||||
@property ubyte sourceCount() const @safe pure nothrow
|
|
||||||
{
|
|
||||||
return sourceCount_;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Add an entropy source.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* source = Entropy source.
|
|
||||||
*
|
|
||||||
* Returns: $(D_PSYMBOL this).
|
|
||||||
*
|
|
||||||
* See_Also:
|
|
||||||
* $(D_PSYMBOL EntropySource)
|
|
||||||
*/
|
|
||||||
Entropy opOpAssign(string Op)(EntropySource source) @safe pure nothrow
|
|
||||||
if (Op == "~")
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(sourceCount_ <= sources.length);
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
sources[sourceCount_++] = source;
|
|
||||||
return this;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Returns: Generated random sequence.
|
|
||||||
*
|
|
||||||
* Throws: $(D_PSYMBOL EntropyException) if no strong entropy source was
|
|
||||||
* registered or it failed.
|
|
||||||
*/
|
|
||||||
@property ubyte[blockSize] random()
|
|
||||||
in
|
|
||||||
{
|
|
||||||
assert(sourceCount_ > 0, "No entropy sources defined.");
|
|
||||||
}
|
|
||||||
body
|
|
||||||
{
|
|
||||||
bool haveStrong;
|
|
||||||
ushort done;
|
|
||||||
ubyte[blockSize] output;
|
|
||||||
|
|
||||||
do
|
|
||||||
{
|
|
||||||
ubyte[maxGather] buffer;
|
|
||||||
|
|
||||||
// Run through our entropy sources
|
|
||||||
for (ubyte i; i < sourceCount; ++i)
|
|
||||||
{
|
|
||||||
auto outputLength = sources[i].poll(buffer);
|
|
||||||
|
|
||||||
if (!outputLength.isNull)
|
|
||||||
{
|
|
||||||
if (outputLength > 0)
|
|
||||||
{
|
|
||||||
update(i, buffer, outputLength);
|
|
||||||
sources[i].size = cast(ushort) (sources[i].size + outputLength);
|
|
||||||
}
|
|
||||||
if (sources[i].size < sources[i].threshold)
|
|
||||||
{
|
|
||||||
continue;
|
|
||||||
}
|
|
||||||
else if (sources[i].strong)
|
|
||||||
{
|
|
||||||
haveStrong = true;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
done = 257;
|
|
||||||
}
|
|
||||||
}
|
|
||||||
while (++done < 256);
|
|
||||||
|
|
||||||
if (!haveStrong)
|
|
||||||
{
|
|
||||||
throw allocator.make!EntropyException("No strong entropy source defined.");
|
|
||||||
}
|
|
||||||
|
|
||||||
output = accumulator.finish();
|
|
||||||
|
|
||||||
// Reset accumulator and counters and recycle existing entropy
|
|
||||||
accumulator.start();
|
|
||||||
|
|
||||||
// Perform second SHA-512 on entropy
|
|
||||||
output = sha512Of(output);
|
|
||||||
|
|
||||||
for (ubyte i = 0; i < sourceCount; ++i)
|
|
||||||
{
|
|
||||||
sources[i].size = 0;
|
|
||||||
}
|
|
||||||
return output;
|
|
||||||
}
|
|
||||||
|
|
||||||
/**
|
|
||||||
* Update entropy accumulator.
|
|
||||||
*
|
|
||||||
* Params:
|
|
||||||
* sourceId = Entropy source index in $(D_PSYMBOL sources).
|
|
||||||
* data = Data got from the entropy source.
|
|
||||||
* length = Length of the received data.
|
|
||||||
*/
|
|
||||||
protected void update(in ubyte sourceId,
|
|
||||||
ref ubyte[maxGather] data,
|
|
||||||
ubyte length) @safe pure nothrow
|
|
||||||
{
|
|
||||||
ubyte[2] header;
|
|
||||||
|
|
||||||
if (length > blockSize)
|
|
||||||
{
|
|
||||||
data[0..64] = sha512Of(data);
|
|
||||||
length = blockSize;
|
|
||||||
}
|
|
||||||
|
|
||||||
header[0] = sourceId;
|
|
||||||
header[1] = length;
|
|
||||||
|
|
||||||
accumulator.put(header);
|
|
||||||
accumulator.put(data[0..length]);
|
|
||||||
}
|
|
||||||
}
|
|
107
source/tanya/typecons.d
Normal file
107
source/tanya/typecons.d
Normal file
@ -0,0 +1,107 @@
|
|||||||
|
/* This Source Code Form is subject to the terms of the Mozilla Public
|
||||||
|
* License, v. 2.0. If a copy of the MPL was not distributed with this
|
||||||
|
* file, You can obtain one at http://mozilla.org/MPL/2.0/. */
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Type constructors.
|
||||||
|
*
|
||||||
|
* This module contains templates that allow to build new types from the
|
||||||
|
* available ones.
|
||||||
|
*
|
||||||
|
* Copyright: Eugene Wissner 2017.
|
||||||
|
* License: $(LINK2 https://www.mozilla.org/en-US/MPL/2.0/,
|
||||||
|
* Mozilla Public License, v. 2.0).
|
||||||
|
* Authors: $(LINK2 mailto:info@caraus.de, Eugene Wissner)
|
||||||
|
*/
|
||||||
|
module tanya.typecons;
|
||||||
|
|
||||||
|
import std.meta;
|
||||||
|
|
||||||
|
/**
|
||||||
|
* $(D_PSYMBOL Pair) can store two heterogeneous objects.
|
||||||
|
*
|
||||||
|
* The objects can by accessed by index as $(D_INLINECODE obj[0]) and
|
||||||
|
* $(D_INLINECODE obj[1]) or by optional names (e.g.
|
||||||
|
* $(D_INLINECODE obj.first)).
|
||||||
|
*
|
||||||
|
* $(D_PARAM Specs) contains a list of object types and names. First
|
||||||
|
* comes the object type, then an optional string containing the name.
|
||||||
|
* If you want the object be accessible only by its index (`0` or `1`),
|
||||||
|
* just skip the name.
|
||||||
|
*
|
||||||
|
* Params:
|
||||||
|
* Specs = Field types and names.
|
||||||
|
*/
|
||||||
|
template Pair(Specs...)
|
||||||
|
{
|
||||||
|
template parseSpecs(int fieldCount, Specs...)
|
||||||
|
{
|
||||||
|
static if (Specs.length == 0)
|
||||||
|
{
|
||||||
|
alias parseSpecs = AliasSeq!();
|
||||||
|
}
|
||||||
|
else static if (is(Specs[0]) && fieldCount < 2)
|
||||||
|
{
|
||||||
|
static if (is(typeof(Specs[1]) == string))
|
||||||
|
{
|
||||||
|
alias parseSpecs
|
||||||
|
= AliasSeq!(Specs[0],
|
||||||
|
parseSpecs!(fieldCount + 1, Specs[2 .. $]));
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
alias parseSpecs
|
||||||
|
= AliasSeq!(Specs[0],
|
||||||
|
parseSpecs!(fieldCount + 1, Specs[1 .. $]));
|
||||||
|
}
|
||||||
|
}
|
||||||
|
else
|
||||||
|
{
|
||||||
|
static assert(false, "Invalid argument: " ~ Specs[0].stringof);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
struct Pair
|
||||||
|
{
|
||||||
|
/// Field types.
|
||||||
|
alias Types = parseSpecs!(0, Specs);
|
||||||
|
|
||||||
|
static assert(Types.length == 2, "Invalid argument count.");
|
||||||
|
|
||||||
|
// Create field aliases.
|
||||||
|
static if (is(typeof(Specs[1]) == string))
|
||||||
|
{
|
||||||
|
mixin("alias " ~ Specs[1] ~ " = expand[0];");
|
||||||
|
}
|
||||||
|
static if (is(typeof(Specs[2]) == string))
|
||||||
|
{
|
||||||
|
mixin("alias " ~ Specs[2] ~ " = expand[1];");
|
||||||
|
}
|
||||||
|
else static if (is(typeof(Specs[3]) == string))
|
||||||
|
{
|
||||||
|
mixin("alias " ~ Specs[3] ~ " = expand[1];");
|
||||||
|
}
|
||||||
|
|
||||||
|
/// Represents the values of the $(D_PSYMBOL Pair) as a list of values.
|
||||||
|
Types expand;
|
||||||
|
|
||||||
|
alias expand this;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
///
|
||||||
|
unittest
|
||||||
|
{
|
||||||
|
static assert(is(Pair!(int, int)));
|
||||||
|
static assert(!is(Pair!(int, 5)));
|
||||||
|
|
||||||
|
static assert(is(Pair!(int, "first", int)));
|
||||||
|
static assert(is(Pair!(int, "first", int, "second")));
|
||||||
|
static assert(is(Pair!(int, "first", int)));
|
||||||
|
|
||||||
|
static assert(is(Pair!(int, int, "second")));
|
||||||
|
static assert(!is(Pair!("first", int, "second", int)));
|
||||||
|
static assert(!is(Pair!(int, int, int)));
|
||||||
|
|
||||||
|
static assert(!is(Pair!(int, "first")));
|
||||||
|
}
|
Reference in New Issue
Block a user